फ़ीडबैक लूप्स के कारण LLMs में ‘मॉडल कोलैप्स’ हो सकता है, जो मद काउ रोग जैसा है

जनरेटिव कृत्रिम बुद्धिमत्ता की दुनिया में एक जिज्ञासु समस्या उभरी है। समस्या इतनी शक्तिशाली और जटिल है कि यह जनरेटिव AI के दायरे को खतरे में डाल सकती है। इस समस्या को गहराई से समझने से पहले, आइए एक त्वरित नज़र डालें कि AI की बढ़ती वक्र पर अनुमानित बाधा को इतना महत्वपूर्ण क्यों माना जाता है। को इतना महत्वपूर्ण माना जाता है। 

AI को दुनिया को अधिक कुशल बनाने के लिए कैसे डिजाइन किया गया है

पिछले कुछ वर्षों में, जनरेटिव AI द्वारा प्रदान किए गए लाभों ने दुनिया में अपनाने की गति को काफी तेज़ कर दिया है। Fortune 500 कंपनियों में से 92% ने जनरेटिव AI को अपनाया है, जबकि 70% GenZ ने इन टूल्स को आज़माया है।

जनरेटिव AI का कवरेज इतना व्यापक है कि लगभग 90% अमेरिकी नौकरियों पर इसका प्रभाव पड़ सकता है, और 2025 तक 95% ग्राहक इंटरैक्शन इसमें शामिल हो सकते हैं। जबकि वर्तमान बाजार का मूल्य लगभग US$45 बिलियन है, AI और बड़ा होता रहेगा और अगले वर्ष तक 97 मिलियन नौकरियों का सृजन कर सकता है। 

AI की संभावनाओं ने अब तक की तुलना में अतुलनीय समर्थन प्रदान किया है, कम से कम इतना कहा जा सकता है। दो मिलियन से अधिक सॉफ़्टवेयर डेवलपर्स OpenAI की API पर काम कर रहे हैं, और इन डेवलपर्स में से अधिकांश Fortune 500 कंपनियों से हैं, जिन्होंने अपने काम के लिए उपलब्ध सर्वोत्तम संसाधनों का उपयोग किया हो सकता था। फिर भी, उन्होंने API पर विकास करने को चुना।

जनरेटिव AI की संभावनाओं के प्रति यह सकारात्मक भावना Deloitte द्वारा किए गए एक सर्वेक्षण में भी परिलक्षित होती है, जिसमें 94% व्यापारिक कार्यकारी मानते हैं कि AI भविष्य की सफलता की कुंजी है।

इन सभी डेटा और तथ्यों से स्पष्ट है कि दुनिया भर के कई लोग भविष्य की वृद्धि के लिए जनरेटिव AI की प्रतीक्षा कर रहे हैं। हालांकि, एक समस्या उभरी है जो AI की वृद्धि क्षमता को चुनौती दे सकती है: फ़ीडबैक लूप्स। अगले भागों में, हम इस समस्या को विस्तार से जांचेंगे, इसके सभी संभावित परिणामों और प्रभावों का विश्लेषण करेंगे।

फ़ीडबैक लूप्स क्या हैं

अपने सबसे बुनियादी रूप में, फ़ीडबैक लूप्स बुरे या हानिकारक नहीं होते। यह AI सिस्टम के आउटपुट और अंत‑उपयोगकर्ता की क्रियाओं को उपयोग करके समय के साथ मॉडलों को पुनः प्रशिक्षित और सुधारने की प्रक्रिया है। 

उनकी प्रकृति के कारण, इन्हें क्लोज़्ड‑लूप कहा जाता है, और इस प्रक्रिया को क्लोज़्ड‑लूप लर्निंग कहा जाता है। यहाँ, AI‑जनित आउटपुट और अंतिम निर्णय के बीच निरंतर तुलना होती है, जिससे मॉडल को फीडबैक मिलती है और वह अपनी गलतियों से सीखता है। 

हालाँकि, जब सिंथेटिक डेटा को लागू किया जाता है तो इस फ़ीडबैक लूप लर्निंग में एक समस्या उत्पन्न होती है। जनरेटिव AI मॉडलों को प्रशिक्षित करने के लिए विशाल मात्रा में डेटा की आवश्यकता होती है, जो आपूर्ति में सीमित और इतनी कम होती है कि ये मॉडल अपने प्रशिक्षण संसाधनों को पूरी तरह समाप्त कर देते हैं। 

इसीलिए बड़ी टेक कंपनियां भविष्य की AI मॉडलों को प्रशिक्षित करने के लिए सिंथेटिक डेटा का उपयोग करने के लिए उत्सुक हैं। लेकिन, सिंथेटिक डेटा के भी अपने फायदे और नुकसान होते हैं। 

सिंथेटिक डेटा के लाभ और कमियां

सिंथेटिक या AI‑सिंथेसाइज़्ड डेटा के कई फायदे हैं। उदाहरण के लिए, यह वास्तविक दुनिया के डेटा से सस्ता है, और—और भी महत्वपूर्ण—ऐसे डेटा की आपूर्ति असीमित है।

चूंकि डेटा सिंथेसाइज़्ड है, यह वास्तविक व्यक्ति से नहीं आता और बहुत कम गोपनीयता जोखिम पैदा करता है। अन्यथा, वास्तविक डेटा, विशेषकर मेड‑टेक और हेल्थकेयर क्षेत्रों में उपयोग किए जाने वाले डेटा, गोपनीयता उल्लंघन के जोखिम में होते हैं। इसके अलावा, ऐसे कई उदाहरण हैं जहाँ सिंथेटिक डेटा के उपयोग ने AI प्रदर्शन को सुधारने में मदद की है। 

हालाँकि, उल्टा पक्ष यह है कि अत्यधिक सिंथेटिक डेटा से पोषित AI मॉडल अपनी कार्यक्षमताओं और संभावनाओं में सीमित हो सकते हैं, जिससे जनरेटिव AI मॉडलों के भविष्य के संस्करणों पर नकारात्मक प्रभाव पड़ता है। इस जोखिम की भविष्यवाणी निराधार नहीं है, जैसा कि हाल ही में Rice University के डिजिटल सिग्नल प्रोसेसिंग समूह ने सत्यापित किया है। 

Richard Baraniuk, Rice के C. Sidney Burrus इलेक्ट्रिकल और कंप्यूटर इंजीनियरिंग प्रोफेसर के अनुसार:

“समस्याएं तब उत्पन्न होती हैं जब यह सिंथेटिक डेटा प्रशिक्षण अनिवार्य रूप से दोहराया जाता है, जिससे एक प्रकार का फ़ीडबैक लूप बनता है — जिसे हम ऑटोफैगस या ‘स्व‑उपभोगी’ लूप कहते हैं।”

सिंथेटिक डेटा‑प्रेरित फ़ीडबैक लूप्स की चुनौती

अब, समस्या की पूरी प्रकृति को समझने के लिए, हमें फ़ीडबैक लूप्स और सिंथेटिक डेटा के केस को एक साथ देखना होगा। प्रोफेसर Baraniuk ने समस्या को इस प्रकार संक्षेपित किया: “हमारा समूह इन फ़ीडबैक लूप्स पर व्यापक रूप से काम कर चुका है, और बुरी खबर यह है कि कुछ पीढ़ियों के बाद नए मॉडल अपरिवर्तनीय रूप से भ्रष्ट हो सकते हैं। इसे कुछ ने ‘मॉडल कोलैप्स’ कहा है — हाल ही में बड़े भाषा मॉडलों (LLMs) के संदर्भ में इस क्षेत्र के सहयोगियों ने कहा है। हम, हालांकि, इस शब्द को ‘Model Autophagy Disorder’ (MAD) अधिक उपयुक्त मानते हैं, जो मद काउ रोग से तुलना करता है।”

इस तुलना की प्रासंगिकता को समझाने के लिए, मद काउ रोग एक घातक न्यूरोडीजेनेरेटिव बीमारी है जो गायों को प्रभावित करती है और मानव में भी समान रोग का कारण बनती है जब संक्रमित मांस का सेवन किया जाता है। इसे जनरेटिव AI मॉडलों के सामने आने वाले फ़ीडबैक लूप चुनौती से तुलना किया जाता है क्योंकि यह रोग उन गायों को प्रोसेस किए गए बचे‑खुचे मांस खिलाने की प्रथा से फैलता है। डेटा को बचे‑खुचे के रूप में या प्रक्रिया के उप‑उत्पाद के रूप में फ़ीड करना वह ‘संक्रमण’ है जो भविष्य के जनरेटिव AI मॉडलों को निरंतर प्रभावित करता रहता है। 

इस मुद्दे पर किया गया अध्ययन शीर्षक था ‘Self-Consuming Generative Models Go MAD.’ इस शोध का एक और महत्वपूर्ण पहलू यह है कि यह AI ऑटॉफ़ैगी पर पहला पीयर‑रिव्यूड कार्य है, जो लोकप्रिय और प्रसिद्ध विज़ुअल AI मॉडलों जैसे DALL‑E, Midjourney, और Stable Diffusion को कवर करता है। हालांकि टीम ने विज़ुअल AI के साथ काम किया, प्रोफेसर Baraniuk ने कहा, “इसी तरह के मद काउ भ्रष्टाचार मुद्दे LLMs में भी होते हैं।”

अब जब हमने इस समस्या और इसे चलाने वाले कारकों को देखा, तो हमें इसके प्रभाव और भविष्य में जनरेटिव AI मॉडलों के विकास पर संभावित असर को देखना होगा। 

ताज़ा डेटा की कमी से अस्वस्थ AI

प्रभावित या संक्रमित LLM से उत्पन्न मूल समस्या एक कमजोर AI मॉडल है। ताज़ा वास्तविक डेटा की कमी के कारण आउटपुट विकृत हो जाते हैं और गुणवत्ता तथा विविधता में कमी आती है। 

इस परिदृश्य को अधिक समझने योग्य और दृश्यात्मक रूप से प्रस्तुत करने के लिए, हम AI द्वारा मानव चेहरों के निर्माण का उदाहरण ले सकते हैं। प्रगतिशील पुनरावृत्त लूप्स के माध्यम से डेटा फ़ीड करने पर सभी चेहरे एक ही व्यक्ति की तरह समान होते जाने की संभावना बढ़ती है। 

ऐसी हानिकारक संभावनाओं की तीव्रता बहुत अधिक है, कम से कम इतना कहा जा सकता है। इस तीव्रता को Baraniuk की टिप्पणी से समझा जा सकता है, जो कहते हैं:

“कुछ परिणाम स्पष्ट हैं: पर्याप्त ताज़ा वास्तविक डेटा के बिना, भविष्य के जनरेटिव मॉडल MADness की ओर धकेले जाएंगे।”

क्या इस संभावित विनाशकारी स्थिति का कोई इलाज है? वर्तमान में, शोधकर्ताओं ने एक सैंपलिंग बायस पैरामीटर पेश किया है जो उपयोगकर्ताओं की डेटा गुणवत्ता को विविधता पर प्राथमिकता देने की प्रवृत्ति को ध्यान में रखता है। इस प्रवृत्ति को ‘चेरी पिकिंग’ कहा जाता है। इसका एक सकारात्मक पहलू यह है कि यह कई मॉडल इटरेशन में डेटा गुणवत्ता को बनाए रखने में मदद करता है। हालांकि, इसका व्यापार‑ऑफ़ विविधता में अधिक गिरावट के रूप में आता है। 

हम पहले ही देख चुके हैं कि AI हमारे भविष्य की दुनिया पर किस प्रकार का प्रभाव डाल सकता है। इतनी बड़ी संभावनाओं के साथ, यह समस्या कई हितधारकों को प्रभावित कर सकती है, विशेषकर नई और नवाचारी कंपनियों को जो इस पर काम कर रही हैं। 

Google उन अग्रणी कंपनियों में से एक है जो बड़े और विविध हितधारकों के लिए LLMs को शक्ति प्रदान करती है। और AI‑जनित फ़ीड में विविधता की कमी वह समस्या है जिसका Google को भविष्य में सामना करना पड़ेगा। यहाँ, हम संक्षेप में Google AI की क्षमताओं को देखते हैं, विशेषकर LLMs को शक्ति देने के संदर्भ में। 

#1. Google AI

AI के क्षेत्र में दो ऑपरेशनल शाखाएँ हैं जो Google को अपने लक्ष्य हासिल करने में मदद करती हैं: Google DeepMind और Google Cloud। सहयोग को अधिक विशिष्ट रूप से समझाने के लिए, Google Cloud, Google DeepMind द्वारा विकसित और परीक्षण किए गए नवाचारों को अपने एंटरप्राइज़‑रेडी AI प्लेटफ़ॉर्म पर लाता है ताकि ग्राहक इन्हें जनरेटिव AI क्षमताओं को बनाने और प्रदान करने के लिए उपयोग कर सकें। Google Cloud तीन LLM सेवाएँ प्रदान करता है।

• पहली है Vertex AI पर जनरेटिव AI, जो उपयोगकर्ताओं को Google के बड़े जनरेटिव AI मॉडल तक पहुंच, परीक्षण, ट्यून और अपने AI‑संचालित अनुप्रयोगों में डिप्लॉय करने की अनुमति देती है।
• दूसरी है Vertex AI एजेंट बिल्डर, जो एंटरप्राइज़ सर्च और चैटबॉट अनुप्रयोगों के लिए बनाई गई है। इसमें ऑनबोर्डिंग, डेटा इनजेशन, कस्टमाइज़ेशन आदि जैसे सामान्य कार्यों के लिए प्री‑बिल्ट वर्कफ़्लो शामिल हैं।
• अंतिम है Contact Center AI, एक इंटेलिजेंट कॉन्टैक्ट सेंटर समाधान जिसमें Dialog Flow, Google का कॉन्वर्सेशनल AI प्लेटफ़ॉर्म, दोनों इंटेंट‑बेस्ड और LLM क्षमताओं के साथ शामिल है।

हालाँकि, Google को AI के उचित उपयोग में अपनी हिस्सेदारी की समस्याओं का भी सामना करना पड़ा। इस साल मई में, Google के CEO Sundar Pichai ने स्पष्ट किया कि कंपनी ने उपयोगकर्ता प्रश्नों के जवाब में नस्लीय पक्षपाती छवि परिणाम उत्पन्न करने में गलती की थी। 

Google को Gemini की इमेज‑जनरेटिंग सुविधाओं को रोकना पड़ा जब सोशल मीडिया उपयोगकर्ताओं ने उनके समाधान को गलत छवियों को स्थायी करने के लिए शिकायत की, जिसमें नाज़ियों को दर्शाते समय रंगीन लोगों की गलत प्रस्तुति शामिल थी। 

यहाँ तक कि कंपनी ने स्वीकार किया कि समस्या “Gemini को विकसित करने में उपयोग किए गए प्रशिक्षण डेटा की सीमाओं” से उत्पन्न हुई।

समस्या के मूल को और स्पष्ट करने के लिए, Sundar Pichai ने भी कहा:

“कुछ समय ऐसा होता है जब आप प्रश्नों का उत्तर देते हैं जैसे ‘संयुक्त राज्य की जनसंख्या क्या है?’ हाँ, यह उत्तर देने योग्य प्रश्न है। [लेकिन] कुछ समय ऐसा होता है जब आप वेब पर मौजूद विभिन्न रायों को प्रदर्शित करना चाहते हैं, जो सर्च करता है और यह अच्छी तरह करता है।”

Pichai के अनुसार, Google ने वर्षों में जो कार्य किया है, वह सर्च के दृष्टिकोण से कंपनी को भरोसेमंद, उच्च‑गुणवत्ता वाली जानकारी प्रदान करने को सुनिश्चित करता है। 

वित्तीय रूप से, Alphabet Inc. (GOOG ) (Google की मूल कंपनी) ने 2023 में $307.4 बिलियन का राजस्व दर्ज किया, जो 2022 के $282.8 बिलियन से 9% अधिक है। ऑपरेटिंग आय $84.3 बिलियन तक पहुंची, जो पिछले वर्ष के $74.8 बिलियन से उल्लेखनीय रूप से बढ़ी। ऑपरेटिंग खर्च $223.1 बिलियन तक बढ़ने के बावजूद, शुद्ध आय $73.8 बिलियन रही, जबकि 2022 में यह $60 बिलियन थी।

#2. Cohere

एक अन्य इकाई जो इस क्षेत्र में बेहतरीन काम कर रही है, वह टोरंटो‑आधारित Cohere है। उनके कई पहलुओं में से एक जिसका विशेष उल्लेख किया जाना चाहिए, वह है ‘Cohere for AI,’ एक गैर‑लाभकारी शोध लैब जो जटिल मशीन लर्निंग समस्याओं को हल करने का लक्ष्य रखती है। पारंपरिक शोध समूह के विपरीत, Cohere for AI एक हाइब्रिड लैब के रूप में कार्य करती है, जिसमें समर्पित शोध स्टाफ और ओपन साइंस पहलों के लिए समर्थन दोनों शामिल हैं। कंपनी विश्व भर के स्वतंत्र शोधकर्ताओं के साथ खुले तौर पर सहयोग करती है ताकि शीर्ष‑स्तरीय ML शोध किया जा सके। 

Cohere का ओपन साइंस शोध समुदाय एक अंतर‑विषयक स्थान है जिसमें शोधकर्ता, इंजीनियर, भाषाविद, सामाजिक वैज्ञानिक और आजीवन शिक्षार्थी शामिल हैं। यह स्थान दुनिया के सौ से अधिक देशों के योगदानकर्ताओं के साथ फल‑फूल रहा है। 

Cohere के कुछ मॉडल में Aya 23 – 8B और Aya 23 – 35B, अत्याधुनिक सुलभ शोध LLMs, C4AI Command R – 104B और C4AI Command R – 35B, शोध पहुंच को लोकतांत्रिक बनाने के लिए मॉडल वज़न, और Aya, विशाल बहुभाषी शोध LLM शामिल हैं। 

हाल ही में, Cohere और Fujitsu ने एक रणनीतिक साझेदारी की घोषणा की है ताकि एंटरप्राइज़ AI सेवाएँ विकसित और प्रदान की जा सकें, जिसमें उद्योग‑अग्रणी जापानी भाषा क्षमताएँ शामिल हैं। सहयोग की शर्तों के तहत, दोनों कंपनियां वैश्विक व्यवसायों की जरूरतों को पूरा करने के लिए शक्तिशाली एंटरप्राइज़‑ग्रेड बड़े भाषा मॉडल (LLMs) बनाएँगी।

इस वर्ष मार्च में, Cohere ने घोषणा की कि वह अपने नवीनतम फंडरेज़िंग प्रयास में $5 बिलियन की वैल्यूएशन की तलाश में है। इस फंडिंग राउंड के माध्यम से लगभग $250 मिलियन जुटाने की योजना है, जैसा कि एक स्रोत ने बताया।

निष्कर्षात्मक विचार

LLMs और वे जनरेटिव AI मॉडल जो उन्हें शक्ति देते हैं, तेजी से उभर रहे हैं और विकसित हो रहे हैं। यह क्षेत्र अत्याधुनिक तकनीक से भरा है, जो अत्यधिक महत्वाकांक्षी और तीव्र रूप से आकांक्षी है। इसलिए, आने वाले वर्षों में इस क्षेत्र में महत्वपूर्ण शोध प्रवाह की अपेक्षा की जा सकती है। 

शोध संस्थान, बड़ी टेक कंपनियां, शैक्षणिक संस्थान—हर संभव हितधारक इस क्षेत्र में अपने संसाधन आवंटन को तीव्र करने के लिए उत्सुक है। ऐसी गतिविधियों की बौछार का मतलब अधिक कमियों का सामने आना होगा। लेकिन इसका मतलब यह भी है कि कोर्स करेक्शन, बॉक्स के बाहर सोचना, और मौजूदा समाधानों को सबसे अनुकूलित तरीके से पुनः कल्पना करना भी होगा।

क्लिक करें यहाँ और कृत्रिम बुद्धिमत्ता में निवेश के बारे में सब कुछ जानें।