OpenAI ने बताया, AI मॉडल की गड़बड़ी कैसे पकड़ी जाती है
OpenAI के मुताबिक कंपनी अपने सबसे उन्नत AI मॉडल की गड़बड़ियों और बिना इजाज़त के काम पर नज़र रखने के लिए कई परतों वाली निगरानी इस्तेमाल करती है। मक़सद है कि मामला बढ़ने से पहले टीम दख़ल दे सके।
OpenAI ने एक रिपोर्ट में बताया है कि वह अपने सबसे उन्नत AI मॉडलों पर कैसे नज़र रखती है। कंपनी के मुताबिक इसके लिए निगरानी की कई परतें लगाई गई हैं।
इस निगरानी का एक काम मिसअलाइनमेंट पकड़ना है। मिसअलाइनमेंट यानी जब AI वह नहीं करता जो उसे बनाने वाले या इस्तेमाल करने वाले चाहते हैं।
दूसरा काम एजेंट के बिना इजाज़त वाले बर्ताव को पकड़ना है। एजेंट यानी ऐसा AI जो इंसान के कहने पर ख़ुद कई क़दम उठाकर काम करता है, जैसे ऐप चलाना या फ़ाइलें खोलना।
OpenAI का कहना है कि इसका मक़सद यह है कि कुछ गड़बड़ दिखे तो जवाब देने वाली टीमें मामला बड़ा होने से पहले दख़ल दे सकें। निगरानी कैसे काम करती है, इसकी पूरी जानकारी मूल रिपोर्ट में है।
आपके लिए इसका मतलब
AI अब सिर्फ़ सवालों के जवाब नहीं देता, कई जगह ख़ुद काम भी करने लगा है। ऐसे में कंपनियाँ उस पर कैसे नज़र रखती हैं, यह जानना आम इस्तेमाल करने वालों के लिए भी काम की बात है।
ये शब्द समझ लें
- मिसअलाइनमेंट
- जब AI इंसान की मंशा के उलट या उससे हटकर काम करने लगे।
- एजेंट
- ऐसा AI जो इंसान के कहने पर ख़ुद कई क़दम उठाकर काम पूरा करता है।
यह खबर PT24 ने AI की सहायता से, स्रोत की रिपोर्ट के आधार पर अपने शब्दों में समझाई है। स्रोत के अपने शब्द नीचे बिना बदलाव के हैं।
मूल शीर्षक: How we detect frontier model misalignment
OpenAI publishes this report on its own site.
Read more at OpenAI