लेखक丨झेंग जियामेई

संपादक丨सेन फेंग

इस बार उलझन ने मॉडल के निर्णय कार्यों को संभालने के तरीके को सीधे तौर पर बदल दिया: एक ही संदर्भ का उपयोग एक ही समय में कई प्रश्नों द्वारा किया जा सकता है, और मॉडल को प्रत्येक प्रश्न की उत्तर संभावना को आउटपुट करने के लिए केवल एक आगे प्रसार करने की आवश्यकता होती है। जिस प्रक्रिया में बार-बार एलएलएम को कॉल करने, टेक्स्ट तैयार करने और परिणामों को पार्स करने की आवश्यकता होती थी, उसे अब एक मॉडल गणना में परिवर्तित किया जा सकता है।

कई समस्याओं को एक-दूसरे के साथ हस्तक्षेप किए बिना गणना साझा करने की अनुमति देने के लिए, पर्प्लेक्सिटी ने समस्याओं के बीच जानकारी के प्रत्यक्ष आदान-प्रदान को सीमित करते हुए साझा स्थिति को सभी समस्याओं को पढ़ने की अनुमति देने के लिए ध्यान तंत्र को भी फिर से डिजाइन किया। v1.3 आगे लोकेट क्षमता जोड़ता है, जो सीधे फ़ील्ड विवरण के अनुसार मूल पाठ अवधि का पता लगा सकता है, निर्णय और पाठ निष्कर्षण को एक ही आर्किटेक्चर में एकीकृत कर सकता है।

मॉडलों का यह सेट पहले ही पर्प्लेक्सिटी की उत्पादन प्रणाली में प्रवेश कर चुका है। आंतरिक सुरक्षा समीक्षा में, इसने एक ही दिन में 7,000 एजेंट सत्रों को संसाधित किया, कुल 1 बिलियन टोकन पढ़े, और 14 नियम सुधारों पर जोर दिया।

तकनीकी वास्तुकला के नजरिए से, डिसाइडर के पास तीन बारीकी से संबंधित डिजाइन स्तर हैं: कैसे इनपुट अंत साझा संदर्भ और स्वतंत्र प्रश्नों को एक साथ व्यवस्थित करता है, कैसे ध्यान परत विभिन्न प्रश्नों की सूचना बातचीत को नियंत्रित करती है, और कैसे प्रशिक्षण और आउटपुट परतें एक ही मॉडल को वर्गीकरण निर्णय और पाठ स्थिति दोनों को ध्यान में रखने की अनुमति देती हैं।

उनमें से, पृथक समस्या पर ध्यान मल्टी-टास्क साझा कंप्यूटिंग के अंतर्निहित तरीके को बदल देता है, और संपूर्ण डिसाइडर आर्किटेक्चर को समझने की कुंजी भी है।

01

एक संदर्भ में कई निर्णय कार्य होते हैं

डिसाइडर का इनपुट वास्तव में साझा स्थिति (राज्य) और कई प्रश्न ब्लॉक (प्रश्न) से बना है। राज्य वेब पेज, दस्तावेज़ या एजेंट निष्पादन रिकॉर्ड सहेजता है, और प्रश्न विशिष्ट निर्णय लक्ष्यों का वर्णन करता है और उम्मीदवार के उत्तरों को सूचीबद्ध करता है। प्रत्येक उम्मीदवार को एक पूर्वनिर्धारित लेबल टोकन, जैसे ए, बी, सी, और विशेष <|मार्कर|> पर मैप किया जाता है। टोकन उत्तर पढ़ने की स्थिति को चिह्नित करता है।

मॉडल प्रसंस्करण के दौरान, मार्कर की संबंधित स्थिति की छिपी हुई स्थिति को निकाला जाएगा, प्रत्येक उम्मीदवार के स्कोर की गणना करने के लिए निर्णय लेने वाले प्रमुख को सौंप दिया जाएगा, और फिर संभाव्यता वितरण में परिवर्तित किया जाएगा।

यहां निर्णय शीर्ष को मूल मॉडल की मूल भाषा मॉडल आउटपुट परत से संशोधित किया गया है: पर्प्लेक्सिटी ए, बी, सी इत्यादि जैसे उम्मीदवार लेबल के अनुरूप वजन पंक्तियों को बरकरार रखती है, शेष शब्दावली आउटपुट वजन हटा देती है, और फिर निर्णय लेने के कार्य के लिए प्रशिक्षित करती है। आउटपुट परत, जिसका उपयोग मूल रूप से अगले टोकन की संभावना की गणना करने के लिए किया जाता था, अब विशेष रूप से विकल्प निर्णय को संभालने के लिए उपयोग किया जाता है।

यह डिज़ाइन कार्य परिभाषा को आउटपुट गणना से अलग करता है। कॉल करने वाला प्राकृतिक भाषा के माध्यम से प्रश्न का वर्णन कर सकता है और विकल्पों के माध्यम से उत्तर स्थान को सीमित कर सकता है, और मॉडल संदर्भ के आधार पर प्रत्येक विकल्प की संभावना की गणना करने के लिए जिम्मेदार है।

भावना विश्लेषण, प्राकृतिक भाषा तर्क, इरादे का पता लगाना, इकाई मिलान, सामग्री मॉडरेशन, तथ्य जांच और स्कोरिंग प्रत्येक कार्य के लिए एक अलग मॉडल संरचना बनाने की आवश्यकता के बिना, इनपुट प्रोटोकॉल के एक ही सेट का उपयोग कर सकते हैं।

पर्प्लेक्सिटी सैकड़ों सार्वजनिक डेटासेट को राज्यों, प्रश्नों, विकल्पों और लक्ष्यों से युक्त एक एकीकृत प्रशिक्षण प्रारूप में परिवर्तित करती है। प्रशिक्षण लक्ष्य या तो सही लेबल या पूर्ण उत्तर संभाव्यता वितरण हो सकता है। उन स्थितियों के लिए जहां एक ही लंबे पाठ पर कई निर्णय लेने की आवश्यकता होती है, कई प्रश्नों को एक ही आगे के प्रचार में रखा जा सकता है, और मॉडल को केवल एक साझा संदर्भ को संसाधित करने की आवश्यकता होती है।

हालाँकि, लाभों की गणना के लिए एक सटीक समझ की आवश्यकता होती है: प्रश्न जोड़ने से प्रश्न टोकन और ध्यान गणना में अभी भी वृद्धि होगी। डिसाइडर जो बचाता है वह मुख्य रूप से लंबे पाठ की बार-बार एन्कोडिंग की लागत, साथ ही टोकन-दर-टोकन डिकोडिंग और जेनरेटर मॉडल के बाहरी पार्सिंग की लागत है। प्रश्नों की संख्या जितनी अधिक होगी और साझा पाठ जितना लंबा होगा, पुन: उपयोग का मूल्य उतना ही अधिक स्पष्ट होगा।

आउटपुट संभावना व्यावसायिक रणनीतियों के समायोजन के लिए भी जगह बनाए रखती है। मॉडल उम्मीदवारों की संभाव्यता वितरण देने के लिए जिम्मेदार है, और एप्लिकेशन झूठी सकारात्मकता और झूठी नकारात्मकता की व्यावसायिक लागत के आधार पर सीमा निर्धारित करता है। वेब फ़िल्टरिंग और एजेंट निष्पादन समीक्षा प्रत्येक व्यवसाय के लिए निर्णय मॉडल को पुनः प्रशिक्षित किए बिना विभिन्न थ्रेसहोल्ड का उपयोग कर सकती है।

02

एक दूसरे के साथ हस्तक्षेप किए बिना कई कार्यों के बीच जानकारी कैसे साझा करें

इनपुट प्रोटोकॉल निर्धारित होने के बाद, मॉडल के भीतर एक नया प्रश्न आता है: एक ही समय में कई प्रश्न ट्रांसफार्मर में प्रवेश करते हैं, उनके बीच किस प्रकार का सूचना कनेक्शन स्थापित किया जाना चाहिए?

डिसाइडर जेनेरिक एलएलएम को अपनी रीढ़ की हड्डी के रूप में उपयोग करता है। मूल कारण ध्यान जानकारी को पाठ क्रम में व्यवस्थित करता है। वर्तमान स्थिति केवल स्वयं और पिछले टोकन को ही पढ़ सकती है। यह संरचना चरण दर चरण पाठ उत्पन्न करने के लिए उपयुक्त है, लेकिन निर्णय कार्यों के लिए अनुकूल नहीं है जिसके लिए संपूर्ण संदर्भ को समझने की आवश्यकता होती है।

इसलिए पर्प्लेक्सिटी इसके बजाय द्विदिश ध्यान का उपयोग करती है, जिससे टोकन को पूरा इनपुट पढ़ने की अनुमति मिलती है। एब्लेशन प्रयोगों से पता चलता है कि यह समायोजन मॉडल के निर्णय लेने के प्रदर्शन में सुधार करता है।

द्विदिश ध्यान पूरे संदर्भ को खोलता है, लेकिन कई मुद्दों के बीच जानकारी के आदान-प्रदान की अनुमति भी देता है। v1.2 पूर्ण पारस्परिक दृश्यता मोड का उपयोग करता है, राज्य और सभी प्रश्न एक दूसरे को पढ़ सकते हैं। इस तरह, एक निश्चित प्रश्न का प्रतिनिधित्व अन्य प्रश्नों से प्रभावित हो सकता है, और जब कॉल करने वाला प्रश्नों के संयोजन को समायोजित करता है, तो मूल निर्णय भी तदनुसार बदल सकता है।

V1.3 में प्रस्तुत पृथक प्रश्न ध्यान कनेक्शन संबंधों के इस सेट को बदल देता है: राज्य सभी प्रश्नों को पढ़ सकता है, लेकिन प्रत्येक प्रश्न केवल राज्य और उसके स्वयं के टोकन को पढ़ सकता है, और सीधे अन्य प्रश्नों को नहीं पढ़ सकता है।

यहां एक महत्वपूर्ण विवरण है: राज्य अब केवल कच्चे पाठ को सहेजने के लिए एक कंटेनर नहीं है, यह कार्यों में जानकारी एकत्र करने की भूमिका भी निभाता है। यह प्रश्नों के पूरे सेट को पढ़ सकता है और बहु-परत ध्यान गणना में कार्य स्थितियों से युक्त एक प्रासंगिक प्रतिनिधित्व तैयार कर सकता है। प्रत्येक प्रश्न राज्य के माध्यम से प्रासंगिक जानकारी प्राप्त करता है और अपना कार्य विवरण बरकरार रखता है।

यह संरचना प्रश्नों के बीच स्थानीय अभ्यावेदन के प्रत्यक्ष हस्तांतरण को रोकती है, लेकिन सभी अप्रत्यक्ष प्रभावों को समाप्त नहीं करती है। चूंकि राज्य ने अन्य मुद्दों की जानकारी पढ़ी है, बहु-परत ट्रांसफार्मर प्रसार के बाद, अंक ए की जानकारी अभी भी राज्य के बाद के प्रतिनिधित्व में प्रवेश कर सकती है और फिर अंक बी द्वारा पढ़ी जा सकती है।

गणितीय अर्थ में कार्यों को पूरी तरह से स्वतंत्र बनाने के बजाय उलझन सीधे ध्यान संबंधी संबंधों को नियंत्रित करती है। यह अंतर यह भी बताता है कि v1.3 में पूरी तरह से कैश करने योग्य मोड का चयन क्यों नहीं किया गया है। टीम ने एक अन्य संरचना का परीक्षण किया है: राज्य केवल अपनी सामग्री पढ़ता है, और प्रश्न राज्य और अपना स्वयं का टोकन पढ़ता है। leifeng.com

इस तरह पाठ के एक ही टुकड़े को अनुरोधों के बीच कैश में पुन: उपयोग किया जा सकता है क्योंकि राज्य का प्रतिनिधित्व विशिष्ट प्रश्न सेट पर निर्भर नहीं है। लेकिन लागत यह है कि राज्य कोडिंग करते समय कार्य आवश्यकताओं को नहीं देख सकता है और वर्तमान समस्या के प्रासंगिक प्रतिनिधित्व को समायोजित नहीं कर सकता है। उलझन अंततः पृथक प्रश्न ध्यान चुनती है, संदर्भ पर प्रश्नों के सशर्त प्रभाव को बरकरार रखती है।

टीम ने लेबल गड़बड़ी परीक्षण के माध्यम से आउटपुट स्थिरता की भी जांच की। 372 बहुविकल्पीय प्रश्नों पर, विकल्प क्रम, लेबल मैपिंग और लेबल नामों को बदलने के परिणामस्वरूप डेसीडर v1.3 में केवल 0.27% प्रश्नों के लिए अर्थ संबंधी उत्तर परिवर्तन हुए और जेव 1.14 में 2.69% से 4.84% तक। एक ही इनपुट के साथ बार-बार निष्पादित होने पर डेसीडर v1.3 का आउटपुट सुसंगत रहता है।

पृथक ध्यान इस प्रकार डिसाइडर का मुख्य वास्तुशिल्प डिजाइन बन गया है: यह निर्धारित करता है कि साझा संदर्भ कई निर्णयों में कैसे भाग लेता है, और उन रास्तों को भी निर्धारित करता है जिनके माध्यम से विभिन्न समस्याओं के बीच जानकारी का आदान-प्रदान किया जा सकता है।

03

विकल्प निर्णय से लेकर पाठ अवधि निष्कर्षण तक

सामान्य निर्णय हेडर की आउटपुट रेंज पूर्व निर्धारित विकल्पों द्वारा सीमित होती है। जब कार्य के लिए मॉडल को मूल पाठ से अज्ञात लंबाई का पाठ खोजने की आवश्यकता होती है, तो ए, बी और सी जैसे लेबल अब मांग को पूरा नहीं कर सकते हैं। इसलिए डिसाइडर v1.3 लोकेट जोड़ता है, आउटपुट को टेक्स्ट स्पैन पोजिशनिंग तक विस्तारित करता है।

लोकेट जोड़ता है <|locate|> टोकन, स्पैन हेड और लोरा एडाप्टर। निकाले जाने वाले प्रत्येक फ़ील्ड में एक स्वतंत्र लोकेट टोकन होता है, और इसकी एम्बेडिंग पिछले प्रशिक्षण से प्राप्त मार्कर प्रतिनिधित्व द्वारा प्रारंभ की जाती है। स्पैन हेडर उम्मीदवार पाठ खंड के दो सिरों के बीच प्रारंभिक बिंदु, अंतिम बिंदु और युग्मन संबंध को स्कोर करने के लिए लोकेट टोकन और स्टेट में प्रत्येक टोकन के छिपे हुए प्रतिनिधित्व को जोड़ता है, और साथ ही फ़ील्ड के लिए एक अद्वितीय सीमा उत्पन्न करता है।

आरंभ और अंत बिंदु स्कोर पाठ सीमाओं को खोजने के लिए जिम्मेदार हैं, जबकि युग्मन स्कोर यह निर्धारित करते हैं कि क्या दो स्थितियाँ एक वैध खंड बना सकती हैं। अकेले दो उच्च-स्कोरिंग पदों को खोजने का मतलब यह नहीं है कि वे एक ही उचित पाठ से संबंधित होने चाहिए, इसलिए युग्म संबंध को भी स्वतंत्र रूप से सीखने की आवश्यकता है। मॉडल मूल वर्ण श्रेणी लौटाता है, और डाउनस्ट्रीम प्रोग्राम सीधे संबंधित सामग्री को पढ़ सकते हैं। लीफेंग्वान

प्रशिक्षण इन्फोएनसीई उद्देश्य के एक संशोधित संस्करण का उपयोग करता है ताकि सही स्पैन का स्कोर सीमा से अधिक हो और सीमा अन्य उम्मीदवार स्पैन से अधिक हो। जब मूल पाठ में कोई संबंधित फ़ील्ड नहीं होती है, तो मॉडल को सीमा बढ़ाने की आवश्यकता होती है ताकि उम्मीदवार के टुकड़े फ़िल्टरिंग को पार न कर सकें और एक खाली सूची लौटा सकें।

लघु लेबल से लेकर प्राकृतिक भाषा निर्देशों तक के फ़ील्ड विवरण के साथ, नामित इकाई पहचान, पीआईआई पहचान और निष्कर्षण प्रश्न और उत्तर डेटा का उपयोग करके घबराहट को प्रशिक्षित किया गया। ऐसे डेटा संगठन के लिए मॉडल को केवल निश्चित फ़ील्ड नामों को याद रखने के बजाय फ़ील्ड अर्थ और पाठ सामग्री के बीच संबंध को समझने की आवश्यकता होती है।

लोकेट पैरामीटर हस्तक्षेप की समस्या भी लाता है। मूल निर्णय प्रमुख उम्मीदवार विकल्पों के बीच संभाव्यता वितरण सीखता है, और स्पैन हेड पाठ सीमाओं और खंड युग्मों को सीखता है। मॉडल के आंतरिक प्रतिनिधित्व के लिए दोनों कार्यों की अलग-अलग आवश्यकताएं हैं।

पर्प्लेक्सिटी ने पाया कि लोकेट एडाप्टर को बैकबोन में मर्ज करने से सामान्य निर्णय अनुरोध ख़राब हो गए, इसलिए इसने स्टैंडअलोन LoRA एडाप्टर को केवल टेक्स्ट लोकेशन कार्यों के लिए सक्षम रखा।

मुख्य मॉडल को चरणों में प्रशिक्षित किया जाता है। बड़ा संस्करण Qwen3.8-27B पर आधारित है। यह पहले बड़े पैमाने पर सामान्य और पूर्ण फाइन-ट्यूनिंग करता है और सार्वजनिक मूल्यांकन बेंचमार्क के प्रशिक्षण प्रभाग को बाहर करता है। फिर यह LoRA के माध्यम से डोमेन कार्यों को जोड़ता है और फिर दृश्य अनुकूलन करता है। समग्र मॉडल प्रदर्शन को बेहतर बनाने के लिए टीम ने तीन अलग-अलग यादृच्छिक बीजों से पाठ प्रशिक्षण भार का औसत निकाला।

फ़्लैश संस्करण Qwen3.5-4B पर आधारित है, जो बड़े डिसाइडर आसवन के माध्यम से क्षमताएं प्राप्त कर रहा है। छात्र मॉडल शिक्षक द्वारा दिए गए पूर्ण संभाव्यता वितरण में फिट बैठता है और केएल विचलन के माध्यम से विभिन्न उम्मीदवारों के बारे में शिक्षक के सापेक्ष निर्णय को सीखता है। Leifeng.com (सार्वजनिक खाता: Leifeng.com)

केवल सही लेबल सीखने की तुलना में, वितरण आसवन अन्य उम्मीदवारों के सापेक्ष आत्मविश्वास को भी बरकरार रखता है। उलझन से पता चलता है कि केएल आसवन समान प्रशिक्षण डेटा दिए जाने पर होल्ड-आउट कार्य पर मानक क्रॉस-एन्ट्रॉपी उद्देश्य से बेहतर सामान्यीकरण करता है।

मूल्यांकन में, डिसाइडर v1.3 ने 63 वर्गीकरण कार्यों पर 91.6% की औसत सटीकता हासिल की, जो पर्प्लेक्सिटी के मूल उत्पादन क्लासिफायरियर से 6.54 प्रतिशत अंक अधिक है। 72 पुनर्प्राप्ति कार्यों में, बिंदु-वार पुनर्रैंकिंग का औसत nDCG@10 83.99 तक पहुंच गया, जो कि Qwen3-Reranker-8B से 1.81 अंक अधिक है।

आठ भाषा कार्यों में औसत सटीकता 88.16% थी, और जेव 1.14 85.41% थी। 17 आउट-ऑफ-डोमेन कार्यों पर लोकेट का औसत स्कोर 69.0 था, और फ्लैश का 63.6 था। एपीआई लाइव होने के बाद पहले 18 दिनों में उत्पादन मूल्यांकन में दस लाख अनुरोध शामिल हैं, और डिडुप्लीकेशन के बाद 2,318,887 मुद्दे शामिल हैं। चूंकि उत्पादन अनुरोधों में मानवीय एनोटेशन का अभाव था, इसलिए टीम ने संदर्भ उत्तर उत्पन्न करने के लिए अत्याधुनिक एलएलएम जजिंग मॉडल का उपयोग किया।

संदर्भ उत्तर के साथ डिसाइडर v1.3 की स्थिरता 93.98% है, जो v1.2 के 93.68% और Jev 1.14 के 93.35% से थोड़ी अधिक है। यह डेटा मॉडल और मूल्यांकन मॉडल के बीच समझौते की डिग्री को दर्शाता है, लेकिन मैन्युअल एनोटेशन के तहत इसे सीधे वास्तविक सटीकता दर के बराबर नहीं किया जा सकता है।

04

निर्णय, एक स्वतंत्र कंप्यूटिंग वास्तुकला शुरू करें

डिसाइडर का तकनीकी मार्ग एक स्पष्ट समस्या के इर्द-गिर्द घूमता है: संदर्भ को समझने की क्षमता बनाए रखते हुए मॉडल को बड़ी संख्या में संरचित निर्णयों को कुशलतापूर्वक कैसे संभालना है। यह इनपुट प्रोटोकॉल, पृथक ध्यान और लोकेट एक्सटेंशन के माध्यम से विकल्प निर्णय से लेकर टेक्स्ट पोजिशनिंग तक एक पूर्ण क्षमता प्रणाली स्थापित करता है।

लेकिन इस वास्तुकला की अभी भी सीमाएँ हैं। वर्तमान सार्वजनिक मूल्यांकन परिणाम वर्गीकरण, पुनर्प्राप्ति पुनर्व्यवस्था और पाठ निष्कर्षण में इसका प्रदर्शन दिखाते हैं, और उत्पादन के मामले यह भी दिखाते हैं कि पर्प्लेक्सिटी ने इसका उपयोग आंतरिक वर्कफ़्लोज़ के लिए किया है।

हालाँकि, मॉडल का वास्तविक लाभ अभी भी कार्य प्रकार, संदर्भ लंबाई, समानांतर समस्याओं की संख्या और तैनाती लागत पर निर्भर करता है। मौजूदा डेटा यह साबित करने के लिए पर्याप्त नहीं है कि यह आर्किटेक्चर सभी एआई अनुप्रयोगों, विशेष रूप से ओपन-एंडेड तर्क और जटिल योजना के लिए उपयुक्त है, और सामान्य एलएलएम के अभी भी अपने फायदे हैं।

एजेंट प्रणाली के लिए, डिसाइडर वास्तव में श्रम विभाजन का एक विचार प्रदान करता है जिसे सत्यापित करना जारी रखना उचित है: सामान्य एलएलएम को जटिल समझ और पीढ़ी को संभालने दें, और स्पष्ट-सीमा वाले वर्गीकरण, स्क्रीनिंग और मूल्यांकन को विशेष मॉडलों को सौंप दें। हालाँकि, क्या दोनों अधिक उपयुक्त सहयोग पद्धति बना सकते हैं, इसे वास्तविक कार्यभार में विलंबता, संसाधन खपत और कार्य प्रदर्शन के आधार पर आगे परीक्षण करने की आवश्यकता है।

संदर्भ लिंक: https://www.perplexity.ai/en-GB/hub/blog/perplexity-decider

Leifeng.com के मूल लेख, अनधिकृत पुनरुत्पादन निषिद्ध है। विवरण के लिए पुनर्मुद्रण निर्देश देखें।

संपादन करना

ईमेल पुनः भेजें ईमेल संशोधित करें