याओ शुन्यू रेडिट पर दो घंटे तक सवालों के जवाब देने के लिए उपस्थित हुए: हुनुआन के बाद प्रशिक्षण में सबसे कठिन समस्या अत्यधिक सोचना है

एजीआई-सिग्नल

2026.11.21 10:53

· बीजिंग से

पूर्ण पाठ 3036 शब्द

ओपन सोर्स बड़े मॉडलों के लिए प्रतिस्पर्धा सूची परिणामों से डेवलपर समुदाय के बीच वास्तविक प्रतिष्ठा की ओर स्थानांतरित हो रही है।

21 नवंबर की सुबह, बीजिंग समय, टेनसेंट के मुख्य एआई वैज्ञानिक और हुनयुआन बड़े मॉडल के प्रमुख याओ शुन्यू और हुनयुआन टीम के शोधकर्ता रेडिट पर आर/लोकलएलएलएएमए समुदाय में उपस्थित हुए और दो घंटे का एएमए (आस्क मी एनीथिंग) आयोजित किया। यह पहली बार है जब हुनयुआन टीम ने डेवलपर समुदाय में सार्वजनिक रूप से सवालों के जवाब दिए हैं। इसे 300 से अधिक संदेश प्राप्त हुए हैं, जिनमें वास्तुकला विकल्पों से लेकर सुरक्षा मूल्यांकन तक के विषय शामिल हैं।

एक महीने से भी कम समय पहले, हुनयुआन ने एक के बाद एक दो मॉडल जारी किए। 4 नवंबर को, Hy4 को पहली बार दुनिया के सबसे मजबूत ओपन सोर्स मॉडल में स्थान दिया गया, तृतीय-पक्ष मूल्यांकन एजेंसी आर्टिफिशियल एनालिसिस की इंटेलिजेंस इंडेक्स सूची में चीनी मॉडल के बीच दूसरे स्थान पर, और एजेंट एरिना सूची में ओपन सोर्स मॉडल के बीच पहले स्थान पर रखा गया। एक सप्ताह से अधिक समय बाद जारी किया गया Hy4 फ़्लैश, "दैनिक कार्य के लिए अंतिम लागत प्रभावी मॉडल" के रूप में स्थित है, जिसमें एक कार्य की लागत Hy4 का केवल बीसवां हिस्सा है।

नौ महीने, दो रिलीज़

समय लय के परिप्रेक्ष्य से:

फरवरी में पुनर्निर्माण के बाद से केवल नौ महीने बीत चुके हैं।

Hy4 और Hy4 फ़्लैश के बीच श्रम का विभाजन दो मार्गों से मेल खाता है। पहला मॉडल आकार और डेटा स्केल का विस्तार करता है और बुद्धिमत्ता की ऊपरी सीमा का पता लगाता है, जबकि दूसरा लागत को कम करता है और इसे दैनिक कार्यों के लिए किफायती बनाता है।

टीम ने प्रश्नोत्तरी में पुष्टि की कि अगली पीढ़ी के हाई मॉडल का पैमाना "निश्चित रूप से और भी महत्वपूर्ण रूप से विस्तारित किया जाएगा।" एक डेवलपर ने इस तथ्य के बारे में पूछा कि बाइटडांस और किमी जैसी कंपनियां 3T या 5T मापदंडों के साथ अल्ट्रा-बड़े पैमाने के मॉडल को बढ़ावा दे रही हैं, जबकि हुनयुआन अभी भी 700B स्तर पर है। टीम का जवाब था कि Hy3 और Hy4 ने दिखाया है कि छोटे मॉडल जो मजबूती से बनाए गए हैं, अक्सर कम लागत पर बड़े मॉडल से बेहतर प्रदर्शन कर सकते हैं और इस प्रक्रिया में और अधिक सीख सकते हैं।

उत्पाद श्रृंखला के दूसरे छोर पर, Hy4 मिनी पहले से ही रोडमैप पर है, 35B-A3B फ्लैश-लाइट के प्रगति पर होने की पुष्टि की गई है, छोटे ओपन सोर्स छवि मॉडल विचाराधीन हैं, और वीडियो मॉडल के बारे में नई खबर है। ऑन-डिवाइस विज़ुअल समझ के लिए, टीम का निर्णय यह है कि लगभग 3 बिलियन सक्रिय मापदंडों वाला A3B मॉडल पहले से ही स्क्रीनशॉट और चार्ट को समझने और निष्कर्ष निकालने का कार्य कर सकता है।

रोडमैप पर चक्रीय एमओई और निरंतर सीखने के लिए भी जगह है। पूर्व की प्रतिक्रिया है "बेशक यह संभव है, कृपया बने रहें", जबकि बाद वाले का सक्रिय रूप से अध्ययन किया जा रहा है। अनुसंधान और विकास का समर्थन करने वाले प्रशिक्षण बुनियादी ढांचे को भी दोहराया जा रहा है, और Hyra 3.0 पहले से ही विकास के अधीन है।

ट्रेड-ऑफ़ मापदंडों से पहले होता है

जब पूछा गया कि आख़िरकार उन्होंने जीक्यूए के बजाय एमएलए को क्यों चुना, तो टीम ने बार-बार व्यापार-बंद होने के इतिहास का खुलासा किया। एमएलए की कम्प्यूटेशनल तीव्रता जीक्यूए की तुलना में काफी अधिक है। अनुमान जीपीयू पर सट्टा डिकोडिंग करते समय, बाधा कंप्यूटिंग शक्ति पर आ जाएगी। हालाँकि, समान केवी कैश आकार के तहत, एमएलए की मॉडल गुणवत्ता जीक्यूए की तुलना में बेहतर है। डीएसए की शुरूआत के बाद, डिकोडिंग चरण की कम्प्यूटेशनल तीव्रता कम हो जाती है, और ट्रेड-ऑफ का संतुलन झुक जाता है।

Hy4 फ़्लैश के कई अन्य डिज़ाइन ट्रेड-ऑफ़ के समान सेट को जारी रखते हैं। एसडब्ल्यूए केवी कैश को उसके मूल आकार के एक चौथाई तक कम कर देता है, और सेवा लागत काफी कम हो जाती है। होस्ट मेमोरी में 64B एंग्राम पैरामीटर्स को ऑफलोड करने के डिज़ाइन के साथ, 12B सक्रिय पैरामीटर्स वाले मॉडल को 128GB से ऊपर कॉन्फ़िगरेशन के साथ आसानी से चलाया जा सकता है।

एक डेवलपर ने विरलता तुलनाओं का एक सेट सूचीबद्ध किया। एंग्राम के बिना Hy4 फ्लैश का कुल पैरामीटर 156B, सक्रियण 12B और सक्रियण अनुपात 7.7% है। Qwen3.8-Flash 4.8% है, और DSv4.1 2.9% जितना कम है। बुद्धि के लिए उच्च सक्रियण घनत्व कितना महत्वपूर्ण है? टीम का उत्तर स्केल लैडर प्रयोग पर आधारित है: जब सक्रियण मापदंडों की मात्रा तय हो जाती है, तो विरलता बढ़ने से कंप्यूटिंग दक्षता में सुधार हो सकता है। हालाँकि, कुल मापदंडों को अपरिवर्तित रखने और केवल सक्रियण मापदंडों को कम करने से मॉडल की गुणवत्ता को काफी नुकसान होगा, क्योंकि सक्रियण मापदंडों की मात्रा अनिवार्य रूप से कम्प्यूटेशनल बजट निर्धारित करती है।

टीम की राय में, बहुत विरल MoE आर्किटेक्चर तर्क के अनुकूल नहीं है और बहुत सारी वीडियो मेमोरी लेता है लेकिन कंप्यूटिंग शक्ति का पूरी तरह से उपयोग नहीं कर सकता है। समान थ्रूपुट के तहत, समान कुल पैरामीटर और अधिक सक्रियण पैरामीटर वाले मॉडल चलाना संभव है। जहां तक ​​अंत पक्ष की बात है, यह विचारों का एक अलग समूह है। आर्किटेक्चर को एज डिवाइस के जीपीयू हार्डवेयर के साथ अधिक बारीकी से डिजाइन करने की आवश्यकता है।

परिमाणीकरण योजना के उत्तर में, डाउन प्रोजेक्शन सक्रियण मूल्य में आउटलेर्स के कारण परिमाणीकरण के प्रति अधिक संवेदनशील है, और अधिक बिट्स आवंटित किए जाएंगे। हेसियन संवेदनशीलता के आधार पर बिट चौड़ाई का चयन किया जाता है। परिमाणीकरण के बाद, स्थिरता बनाए रखने के लिए राउटर को QAT के साथ मिलकर प्रशिक्षित किया जाएगा, और टीम पूर्ण-पैरामीटर QAT को प्राथमिकता देती है क्योंकि मॉडल की गुणवत्ता बेहतर है। उत्तरों का यह सेट संपूर्ण प्रश्नोत्तरी में परियोजना का सबसे विस्तृत हिस्सा है।

सबसे मुश्किल काम है ज़्यादा सोचना

जब उनसे प्रशिक्षण के बाद के चरण में सुधार के लिए सबसे कठिन व्यवहार के बारे में पूछा गया, तो उत्तर केवल चार शब्द थे: अत्यधिक सोचना। Hy4 बुद्धि की ऊपरी सीमा का अनुसरण करता है, और लंबी सोच श्रृंखला एक ज्ञात समस्या है। समाधान में एक बंद-लूप उत्पाद का रंग होता है, जो Hy4 की लंबी सोच श्रृंखला को लागत प्रभावी Hy4 फ्लैश में डिस्टिल करता है, और फिर सुदृढीकरण सीखने के माध्यम से बाद के लिए एक छोटी सोच श्रृंखला सुनिश्चित करता है।

कुछ डेवलपर्स ने लेखन के आधार पर सवाल पूछते हुए कहा कि यदि कोई मॉडल चीजों को अधिक आसानी से समझाता है, तो यह उनके लिए क्वेन 3.8 फ्लैश नेक्स्ट से स्विच करने का एक महत्वपूर्ण कारण होगा। टीम ने जवाब दिया कि रचनात्मक लेखन और पठनीयता बहुत महत्वपूर्ण है और प्रमुख दिशाओं के रूप में इसमें सुधार किया जा रहा है, यह कहते हुए कि "कभी-कभी, एक अच्छा उदाहरण पांच पैराग्राफ से अधिक उपयोगी होता है।" उन्होंने इस अवलोकन पर भी ध्यान देना स्वीकार किया कि बड़े मॉडलों की लेखन क्षमता आम तौर पर खराब हो गई है, और माना कि यह प्रशिक्षण उद्देश्यों से संबंधित हो सकता है। उन्हें उम्मीद है कि मॉडल "इंसानों की तरह अधिक और कम नियमित अभिव्यक्तियाँ" लिख सकते हैं।

इस बारे में कि क्या Hy4 स्वायत्त रूप से काम कर सकता है और अगली पीढ़ी के मॉडल विकसित कर सकता है, प्रतिक्रिया में कहा गया है कि पुनरावर्ती आत्म-सुधार क्षमताओं के लिए अभी भी शुरुआती दिन हैं, लेकिन प्रमुख क्षमताओं का मूल्यांकन करने के लिए कई आंतरिक बेंचमार्क विकसित किए गए हैं। जब एजीआई के स्तर के अनुसार Hy4 रैंक करने के लिए कहा गया, तो टीम के सदस्यों ने 2.5 का स्व-मूल्यांकन दिया।

तकनीकी मुद्दों के बीच अनुसंधान और विकास प्रक्रिया की यादें जुड़ी हुई हैं। Hy3 से Hy4 तक के विस्तार को सबसे कठिन क्षण बताया गया। डेटा एब्लेशन प्रयोग उम्मीदों पर खरा नहीं उतरा और प्रशिक्षण की शुरुआत अनिश्चितता से भरी थी। "जब प्रशिक्षण अभी शुरू हुआ तो मैं काफी घबराया हुआ था।" अंतिम परिणाम के बारे में टीम की याद यह है कि "ऐसा महसूस हुआ जैसे सभी चिप्स मेज पर रख दिए गए और वास्तव में जीत हासिल की।"

प्रतिबंधों को स्पष्ट रूप से समझाना भी एक प्रकार का खुला स्रोत है

जिम्मेदारी से खुले स्रोत के लिए, हुनयुआन नेटवर्क सुरक्षा डेटा को फ़िल्टर करता है जो मुख्य रूप से प्रशिक्षण के दौरान भेद्यता शोषण और आक्रामक हमलों पर केंद्रित होता है, प्रशिक्षण-स्तर पर उत्तर देने से इनकार करने की सुरक्षा में सहयोग करता है, और रेड टीम मूल्यांकन करता है। कुछ डेवलपर्स ने सवाल उठाया कि इससे रक्षक कमजोर हो जाएंगे, रिवर्स इंजीनियरिंग सीमित हो जाएगी और मैलवेयर विश्लेषण और फोरेंसिक को नुकसान होगा। टीम द्वारा दिया गया मूल्यांकन निष्कर्ष यह है कि Hy4 में मजबूत भेद्यता खोज क्षमताएं हैं लेकिन अपेक्षाकृत कमजोर भेद्यता शोषण क्षमताएं हैं। अत्यधिक अस्वीकृति को अभी भी सुधार की एक महत्वपूर्ण दिशा के रूप में पहचाना जाता है।

Llama.cpp का अनुकूलन प्रगति पर है और जल्द ही समुदाय के लिए जारी किया जाएगा। वीएलएम और एसजीएल के साथ सहयोग भी गहन है। Hy4 और Hy4 फ़्लैश का व्यापक रूप से OpenCode, क्लाउड कोड और Cline में उपयोग किया गया है। उत्तर प्रोजेक्ट और टूल नाम के लिए विशिष्ट है। प्रश्नोत्तर के दौरान, डेवलपर्स ने वास्तविक परीक्षण भी शामिल किया। Hy4 फ्लैश अपने आंतरिक एजेंट प्रोग्रामिंग और पीआर समीक्षा बेंचमार्क पर सही स्कोर वाला पहला मॉडल बन गया, और पूरा होने की गति क्वेन 3.8 फ्लैश नेक्स्ट, जीएलएम 5.3 फ्लैश और डीपसीक वी 4.1 फ्लैश से तेज थी।

जीपीक्यूए डायमंड और एसडब्ल्यूई बेंच जैसे सामान्य बेंचमार्क के परिणाम क्यों घोषित नहीं किए गए हैं, इसके लिए टीम का स्पष्टीकरण यह है कि ये बेंचमार्क पहले लॉन्च किए गए थे और स्कोर संतृप्त किए गए हैं। वे जो दिखाते हैं वह एजेंटों की अंतिम परीक्षा और प्रोग्रामबेंच जैसे नए और अधिक कठिन बेंचमार्क हैं। मूल्यांकन की प्रामाणिकता का सिद्धांत आंतरिक पंथ से बाहरी रुख में बदल गया है।

300 से अधिक टिप्पणियों में, डेवलपर्स न केवल रनिंग स्कोर के बारे में चिंतित हैं, बल्कि उनसे वास्तविक कार्य प्रदर्शन, उपयोग लागत और पारिस्थितिक अनुकूलन के बारे में भी बार-बार पूछा जाता है। ओपन सोर्स मॉडल का प्रतिस्पर्धी आयाम सूची में दिखाए गए से कहीं अधिक व्यापक है। हुनयुआन टीम द्वारा दो घंटों में प्रस्तुत की गई प्राथमिकता पहले एक ठोस नींव रखना, मॉडल को वास्तविक कार्यों में अधिक उपयोगी बनाना और फिर क्षमताओं की सीमाओं का पता लगाना जारी रखना था।

अनुत्तरित प्रश्न, अत्यधिक सोचना, रचनात्मक लेखन, और पुनरावर्ती आत्म-सुधार जिन्हें प्रत्यक्ष रूप से स्वीकार किया जाता है, अगले पुनरावृत्ति के लिए रोडमैप बनाते हैं। नौ महीने पहले, हुनयुआन ने अपने पूर्व-प्रशिक्षण और सुदृढीकरण सीखने के बुनियादी ढांचे का पुनर्निर्माण किया। नौ महीने बाद, दो मॉडल और दो घंटे के प्रश्नोत्तरी ने पुनर्निर्माण के बाद चरणबद्ध परिणाम तैयार किए। पहले नींव रखें, फिर सीमाओं का पता लगाएं।

बाकी को अगले संस्करण पर छोड़ दें। (यह लेख पहली बार टाइटेनियम मीडिया एपीपी, लेखक|एजीआई-सिग्नल, संपादक|किन कांगहुई पर प्रकाशित हुआ था)

मूल कार्य का सम्मान, यदि आप योग्य हैं तो आपकी सराहना की जानी चाहिए।

साइबर सुरक्षा कानून की वास्तविक नाम आवश्यकता के अनुसार, टिप्पणी पोस्ट करने से पहले कृपया अपना मोबाइल फोन नंबर बाध्य करें।

अभिव्यक्त करना

11:05

अमेरिकी कार्गो ड्रैगन अंतरिक्ष यान अंतरिक्ष स्टेशन से अलग हो जाता है और पृथ्वी पर लौटने के लिए प्रस्थान करता है

10:31

अमेरिकी राष्ट्रपति के दूत ने कतर के वरिष्ठ अधिकारियों के साथ अमेरिकी-ईरान मध्यस्थता कार्य पर चर्चा की

10:30

क्वांटम कंप्यूटर "हाई-स्पीड मेमोरी" को दुनिया में पहली बार एक वास्तविक मशीन पर साकार किया गया है

10:27

एजेंसी: मांग ठंडी हो गई है, और नवंबर में टीवी, मॉनिटर और लैपटॉप पैनल की कीमतें समान रह सकती हैं।

10:25

मिंग-ची कुओ: Google को 2027 में TPU 8t और 8i श्रृंखला के शिपमेंट अनुपात को समायोजित करने की उम्मीद है

10:22

चरणबद्ध समायोजन ने पृष्ठभूमि नहीं बदली है, और कई संस्थान ए-शेयरों के मूल्यांकन और लचीलेपन के बारे में आशावादी हैं।

10:21

इंटरनेट पर बताया गया है कि लीपाओ ए10 के ट्रंक को बीयर की कई पेटियों ने कुचल दिया था। लीपाओ ने जवाब दिया.

10:19

अंतरराष्ट्रीय स्तर पर सोने की कीमतों में गिरावट जारी है

10:16

फेडरल रिजर्व के अधिकारी पॉलसन: विवेकपूर्ण ब्याज दरों में बढ़ोतरी का समर्थन करते हैं और यदि आवश्यक हुआ तो ब्याज दरें बढ़ाना जारी रख सकते हैं

10:15

यदि सॉफ्टबैंक को बिक्री पूरी नहीं हो पाती है, तो बताया जाता है कि एबीबी अपने रोबोटिक्स व्यवसाय को बंद करने पर विचार कर रहा है।

10:12

एंथ्रोपिक आईपीओ को खुदरा निवेशकों से लगभग 115 बिलियन अमेरिकी डॉलर से 120 बिलियन अमेरिकी डॉलर की सदस्यता मांग प्राप्त हुई

10:10

सोने के आभूषणों की कीमत में गिरावट जारी है, लाओ फेंगज़ियांग में एक ही दिन में 34 युआन की गिरावट आई है

फूड डिलीवरी कंपनी वंडर ग्रुब को बेचने पर विचार कर रही है

10:09

बताया गया है कि डेटाब्रिक्स वित्तपोषण के एक नए दौर पर बातचीत कर रहा है, जिसका मूल्यांकन 225 बिलियन अमेरिकी डॉलर तक पहुंचने की उम्मीद है।

10:08

क्राउडस्ट्राइक कथित तौर पर साइबर सुरक्षा कंपनी ज़स्केलर का अधिग्रहण करने के लिए बातचीत कर रही है

10:06

अपोलो और गोल्डमैन सैक्स ने $44 बिलियन स्पेसएक्स जीपीयू वित्तपोषण का मूल्य निर्धारण पूरा किया

'बिग शॉर्ट' निवेशक माइकल बरी ने एनवीडिया पुट ऑप्शंस की होल्डिंग कम कर दी है, जिससे कुछ लाभ कम हो गए हैं

10:04

"ग्रैंड थेफ्ट ऑटो 6" की खुदरा बिक्री पहले दिन 3.79 बिलियन डॉलर तक पहुंच गई, जिसने मनोरंजन उद्योग का रिकॉर्ड बनाया

09:59

ईरान के विदेश मंत्री: "दो दिवसीय योजना" अभी भी मेज पर है और वह संयुक्त राज्य अमेरिका के साथ इस पर चर्चा करने को तैयार हैं

09:53

ट्रम्प: चीन-रूस-अमेरिकी राष्ट्रपतियों की मुलाकात "अभूतपूर्व" और "अत्यंत महत्वपूर्ण"

ऐप डाउनलोड करने के लिए स्कैन करें