शोधकर्ताओं ने भाषा मॉडल में हानिकारक आउटपुट को रोकने और अवरुद्ध करने के लिए एआई उपकरण विकसित किया
Summary:
AutoGPT, नॉर्थईस्टर्न यूनिवर्सिटी और माइक्रोसॉफ्ट रिसर्च ने बड़े भाषा मॉडल (एलएलएम) के लिए एक निगरानी एजेंट बनाया है जो संभावित हानिकारक आउटपुट को रोक और अवरुद्ध कर सकता है। विभिन्न संदर्भों में मौजूदा एलएलएम की निगरानी के लिए डिज़ाइन किया गया टूल, असुरक्षित परीक्षण को रोकता है और मानव समीक्षा के लिए कार्यों को रिकॉर्ड करता है। टीमों ने ओपनएआई के जीपीटी 3.5 टर्बो पर एजेंट को प्रशिक्षित करने के लिए कई कार्यों में 2,000 सुरक्षित मानव / एआई इंटरैक्शन वाले डेटासेट का उपयोग किया, जिससे यह 90% सटीकता के साथ हानिरहित और संभावित हानिकारक आउटपुट के बीच अंतर करने में सक्षम हो गया।
एक सहयोगी प्रयास में, एआई फर्म ऑटोजीपीटी, नॉर्थईस्टर्न यूनिवर्सिटी और माइक्रोसॉफ्ट रिसर्च ने एक एजेंट की कल्पना की है जो बड़े भाषा मॉडल (एलएलएम) की देखरेख करने में सक्षम है ताकि संभावित हानिकारक आउटपुट में बाधा उत्पन्न हो सके। "टेस्टिंग लैंग्वेज मॉडल एजेंट्स सेफली इन द वाइल्ड" नामक प्रारंभिक अध्ययन में प्रस्तुत टीम के निष्कर्ष बताते हैं कि उपकरण में मौजूदा एलएलएम की निगरानी करने के लिए आवश्यक लचीलापन है और कोड-आधारित हमलों जैसे हानिकारक परिणामों को पहले से ही रोक सकता है। अध्ययन में विस्तार से बताया गया है कि एजेंट द्वारा किए गए सभी कार्यों की सावधानीपूर्वक एक संदर्भ-संवेदनशील उपकरण के माध्यम से जांच की जाती है जो कड़े सुरक्षा मापदंडों के भीतर कार्य करता है और असुरक्षित परीक्षण को समाप्त कर सकता है। इन संदिग्ध गतिविधियों को तब मानव समीक्षा के लिए रैंक और दर्ज किया जाता है।
यद्यपि संभावित खतरों के लिए एलएलएम आउटपुट की देखरेख के लिए मौजूदा उपकरण प्रयोगशाला स्थितियों के भीतर पर्याप्त रूप से कार्य करते हैं, खुले इंटरनेट पर पहले से मौजूद मॉडल के लिए उनका आवेदन वास्तविक दुनिया की जटिल गतिशीलता को पूरी तरह से समझने में विफल रहता है। यह मुख्य रूप से किनारे के मामलों की घटना के लिए जिम्मेदार है। यह विचार कि शोधकर्ता, उनके कौशल के बावजूद, हर संभावित जोखिम परिदृश्य की भविष्यवाणी कर सकते हैं, इससे पहले कि यह सामने आए, एआई क्षेत्र में व्यापक रूप से अस्वीकृत है। यहां तक कि जब एआई के साथ बातचीत करने वाले व्यक्ति सबसे अच्छे इरादे रखते हैं, तो अप्रत्याशित नुकसान प्रतीत होता है कि सुरक्षित सुझावों से निकल सकता है।
अपने ओवरसीइंग एजेंट को प्रशिक्षित करने के लिए, टीम ने एक डेटासेट का निर्माण किया, जिसमें 29 अलग-अलग कार्यों में मनुष्यों और एआई के बीच लगभग 2,000 सुरक्षित इंटरैक्शन शामिल थे - बुनियादी टेक्स्ट-रिकॉल ऑपरेशन और कोड सुधार से लेकर पूरे वेब पेज ों के निर्माण तक।
इसके संबंध में, शोधकर्ताओं ने एक प्रतिद्वंद्वी परीक्षण डेटासेट भी बनाया, जो जानबूझकर असुरक्षित से भरा था, मैन्युअल रूप से प्रतिकूल परिणामों को एक साथ रखा गया था। इसके बाद, इन डेटासेट का लाभ ओपनएआई के जीपीटी 3.5 टर्बो पर एक एजेंट को प्रशिक्षित करने के लिए उठाया गया - लगभग 90% सटीकता के साथ हानिरहित और संभावित हानिकारक आउटपुट के बीच अंतर करने की क्षमता के साथ एक अग्रणी प्रणाली।
Published At
11/20/2023 5:18:44 PM
Disclaimer: Algoine does not endorse any content or product on this page. Readers should conduct their own research before taking any actions related to the asset, company, or any information in this article and assume full responsibility for their decisions. This article should not be considered as investment advice. Our news is prepared with AI support.
Do you suspect this content may be misleading, incomplete, or inappropriate in any way, requiring modification or removal?
We appreciate your report.