लेखक丨झोउ लेई
संपादक丨सेन फेंग
जब इस साल की शुरुआत में बाइट्स सीडांस 2.0 रिलीज़ हुई, तो कई व्यवसायी "मूवी-स्तरीय" फिल्म की गुणवत्ता से उत्साहित और हैरान थे। एक नया रचनात्मक खाका धीरे-धीरे उनके सामने खुल रहा था - लेकिन सेंसटाइम की सेको टीम के लिए, यह एक "भ्रमित" दिन था।
सेंसटाइम के सह-संस्थापक और मुख्य वैज्ञानिक लिन डाहुआ ने हाल ही में एक साक्षात्कार में याद किया कि उस दौरान जब वह निवेशकों से मिलने और उद्योग सम्मेलनों में भाग लेने गए थे, तो उनसे लगभग हमेशा एक ही सवाल पूछा गया था: आपके सेको और सीडांस के बीच क्या अंतर है? कभी किया है?
टीम में आत्म-संदेह की आवाज उठी: क्या हमें ऐसा करना जारी रखना चाहिए?
बाद में, कहानी सेको द्वारा अकेले सीडांस से "लड़ाई" के साथ समाप्त नहीं हुई। सीडांस 30-सेकंड की वीडियो क्लिप को शीर्ष स्तर पर प्रस्तुत करता है; जबकि सेको रचनाकारों के लिए लक्षित है और अंततः लघु नाटकों के 100 एपिसोड वितरित करता है - जिसमें स्क्रिप्ट, स्टोरीबोर्ड, चरित्र सेटिंग्स और एपिसोड में छवि स्थिरता शामिल है, जो एक पूर्ण रचनात्मक प्रक्रिया है।
इस मामले पर स्पष्ट रूप से सोचने के बाद, सेको का जीवन बेहतर है: साक्षात्कार में लिन डाहुआ के अनुसार, इस वर्ष इस उत्पाद के उपयोगकर्ताओं की संख्या 7 से 8 गुना बढ़ गई है, और मंच ने 100 मिलियन से अधिक बार देखे गए लघु नाटकों का निर्माण किया है।
लिन डाहुआ ने स्वयं बड़े मॉडल बाजार में सेंसटाइम की लोकप्रियता का स्पष्ट मूल्यांकन किया है: "शायद यह सबसे बड़ा नहीं है।" इस कंपनी के मार्ग ने कभी भी उद्योग में सबसे लोकप्रिय दिशा का पूरी तरह से पालन नहीं किया है।
लेकिन SenseTime की एक आदत है जो कई वर्षों से कायम है: आज तक, कंपनी बिना किसी उत्पाद निर्यात के अपने संसाधनों का 20% पूर्व-अनुसंधान कार्य में निवेश करती है।
कुछ हद तक यह एक प्रकार की "बुवाई" भी है। जब बीज जमीन में बोए जाते हैं, तो फसल का वादा करने की कोई जरूरत नहीं है। वह वाक्यांश जिसके बारे में तांग ज़ियाओउ अक्सर बात करते हैं - जीवन एक रास्ता ढूंढता है, "जीवन अपना रास्ता खुद ढूंढता है", इस निवेश का तर्क हो सकता है।
वेइबो टेक्नोलॉजी द्वारा संयुक्त रूप से निर्मित "टेक्नोलॉजी टॉक" कॉलम के साथ हाल ही में एक साक्षात्कार में, लेकिन हर जगह केवल एक ही सुराग है: 20% संसाधन, और निर्णय जो इसका समर्थन करता है - क्यों कुछ सड़कें लंबे समय तक चलने लायक हैं, भले ही अभी तक कोई निकास न हो।
01
प्रशिक्षण लागत को रोका नहीं जा सकता, चीनी एआई हाथ की गति से प्रतिस्पर्धा करता है
बड़े मॉडल उद्योग में पैसा बिना रुके जल रहा है।
उद्योग में एक आम धारणा हुआ करती थी: एक अच्छे मॉडल को प्रशिक्षित करने के लिए बड़ी मात्रा में पैसा खर्च करने पर, बाद की बड़े पैमाने की सेवाओं में लागत का परिशोधन किया जा सकता है।
लिन डाहुआ ने साक्षात्कार में बताया कि यह धारणा सच नहीं हो सकती है - समस्या यह नहीं है कि मॉडल पर्याप्त अच्छा नहीं है, बल्कि यह है कि "यदि आप अगले को प्रशिक्षित करना जारी नहीं रखते हैं, तो अन्य आपसे आगे निकल जाएंगे।" प्रतिस्पर्धा कंपनियों को एक के बाद एक दौर में फिर से प्रशिक्षित करने के लिए मजबूर करती है, इसलिए प्रशिक्षण लागत रुक नहीं सकती है और बढ़ती ही जा रही है।
यद्यपि पिछले वर्ष में उद्योग की कथा "बड़ा मजबूत है" पर लगभग हावी रही है, लेकिन वॉल्यूम मापदंडों के पथ पर पलटवार किया जा रहा है। उन्होंने दो संकेतों का उल्लेख किया:
सबसे पहले, मॉडल का आकार चयन अधिक व्यावहारिक हो गया है। हाल ही में, विभिन्न निर्माताओं ने फ्लैश-स्तरीय छोटे और मध्यम आकार के मॉडल जारी किए हैं: जीएलएम 5.3 फ्लैश, डीपसीक 4.1 फ्लैश, और Google और OpenAI ने भी समान विशिष्टताओं वाले उत्पाद लॉन्च किए हैं।
लिन डाहुआ ने साक्षात्कार में डीपसीक के प्रदर्शन का विशेष रूप से उल्लेख किया: "फ्लैश 4.1 का प्रदर्शन स्तर 4.0 प्रो से बेहतर है।" कई सौ बी के पैमाने और अच्छी तरह से प्रशिक्षित प्रशिक्षण वाले मॉडल ने पिछली पीढ़ी के प्रो से बेहतर प्रदर्शन किया, यह दर्शाता है कि मध्यम आकार के मॉडल में अनुकूलन स्थान समाप्त होने से बहुत दूर है।
दूसरा, पूर्व-प्रशिक्षण डेटा की गुणवत्ता को वापस मेज पर रख दिया गया है। जब सैकड़ों अरब मापदंडों वाले एक मॉडल ने वास्तविक मुकाबले में 2 ट्रिलियन मापदंडों वाले प्रतिद्वंद्वी से बेहतर प्रदर्शन किया, तो कई लोगों ने पीछे मुड़कर अपनी डेटा पाइपलाइनों की जांच करना शुरू कर दिया।
लिन डाहुआ के पास इसके लिए एक स्पष्ट स्पष्टीकरण है: "बहुत सारी अशुद्धियाँ हैं (डेटा में) और बहुत सी चीजें एक-दूसरे से लड़ रही हैं, जिससे बीच में बहुत सारी दक्षता ऑफसेट हो जाएगी।" परिणाम एक महँगा और असंतोषजनक मॉडल है। पैरामीटर ढेर हो गए हैं, लेकिन प्रभाव में सुधार नहीं हुआ है।
"मुझे नहीं लगता कि यह एक स्वस्थ स्थिति है जब हर कोई मापदंडों में आँख बंद करके प्रतिस्पर्धा करता है।" उनके विचार में, इन दो संकेतों का मतलब है कि उद्योग तर्कसंगतता की ओर लौट रहा है: यह अब एक संकेतक के आसपास प्रतिस्पर्धा नहीं करता है, बल्कि अंतिम उपयोगकर्ता के मूल्य पर लौटता है।
पिछले AI चक्र के दौरान भी ऐसी ही स्थिति उत्पन्न हुई थी और SenseTime ने स्वयं इसका अनुभव किया था। प्रत्येक परियोजना को डेटा संग्रह, विशेष प्रशिक्षण, ट्यूनिंग और परीक्षण से शुरू करना चाहिए। पूरी प्रक्रिया को दोबारा किया जाना चाहिए, जिसे वास्तव में दोहराना मुश्किल है। यह सिर्फ इतना है कि माप की इकाई तब एक परियोजना थी, लेकिन आज इसे एक पैरामीटर द्वारा प्रतिस्थापित कर दिया गया है।
हाथ की गति से लड़ना इन्वॉल्वमेंट का दूसरा रूप है। संयुक्त राज्य अमेरिका में अत्याधुनिक प्रयोगशालाएँ SOTA की सीमा को परिभाषित करती हैं। एक बार नया मॉडल जारी होने के बाद, यह चीन में अभ्यासकर्ताओं के लिए रास्ता दिखाने के बराबर है। समान समाधानों का उपयोग करने का दावा करने वाले कई उत्पाद चीन में पारिस्थितिक क्षेत्र पर कब्ज़ा करने के लिए अक्सर दो या तीन महीनों के भीतर सामने आते हैं। हाल ही में लोकप्रिय आरएसआई (पुनरावर्ती स्व-सुधार) भी एक ही समय में कंपनियों के एक समूह द्वारा बनाया जा रहा है।
"ईमानदारी से कहूं तो, हाथ की गति के लिए प्रतिस्पर्धा करना वास्तव में काफी थका देने वाला है।" लिन डाहुआ ने देखा कि अगर हर कोई एक दिशा के बारे में आशावादी होने पर जल्दबाजी करता है तो दीर्घकालिक मूल्य बनाना मुश्किल है। यदि एक ही समय में दस कंपनियां एक ही पारिस्थितिक स्थान पर कब्जा कर लेती हैं, तो पहले आने वाले का लाभांश जल्दी से कम हो जाएगा।
तो दीर्घकालिक प्रतिस्पर्धात्मकता किस पर निर्भर करती है? उनका उत्तर है: एक सड़क जो काफी लंबी और काफी गहरी हो। यह प्रश्न SenseTime के 20% संसाधनों को समझने के लिए प्रारंभिक बिंदु है।
02
बुद्धि का सार:
स्केलिंग विरोधी कानून से लेकर भाषा और बहुविधता तक
· 20% संसाधन और स्थानिक बुद्धिमत्ता
इन 20% संसाधनों को स्पष्ट रूप से ऐसे कार्यों में निवेश किया गया है जिनके पास "निर्यात के लिए कोई उत्पाद नहीं है"। लिन डाहुआ ने साक्षात्कार में पुष्टि की कि सेंसटाइम को चाहे किसी भी परिचालन दबाव का सामना करना पड़े, पैसा आज भी जारी है। "किसी भी समय, हम अभी भी कुछ संसाधन बरकरार रखते हैं।"
उनके शब्दों में, इस प्रकार के काम का शुरुआती बिंदु यह पूछना है कि क्यों: जब किसी समस्या को मौजूदा तरीकों से हल नहीं किया जा सकता है, तो मूल बातों पर वापस जाएं। वह सिद्धांत को समझाने के लिए जटिल गणितीय सूत्रों का उपयोग नहीं करता है, लेकिन आवश्यकता है कि यह सिद्धांत "कुछ समस्याओं को प्रभावी ढंग से हल कर सकता है जिन्हें वर्तमान में अन्य तरीकों से हल करना मुश्किल है।"
SenseTime के शोध निर्देशों में से एक, स्थानिक बुद्धिमत्ता, को इस प्रकार चुना गया था।
चयन तर्क को दो चरणों में विभाजित किया गया है। पहला कदम उस समय के सबसे मजबूत मॉडलों का परीक्षण करना और यह पता लगाना है कि वे क्या अच्छा नहीं करते हैं। दूसरा चरण एक और परत के नीचे यह पूछना है कि क्या कुछ डेटा जोड़कर इन कमियों को पूरा किया जा सकता है? यदि इसे मूल पथ के साथ डेटा जोड़कर अच्छी तरह से किया जा सकता है, तो इसका अनुप्रयोग मूल्य है, लेकिन यह सैद्धांतिक नवाचार का समर्थन नहीं कर सकता है। केवल उन दिशाओं में जिन्हें अच्छी तरह से नहीं किया जा सकता है, चाहे कितना भी डेटा जोड़ा जाए, वहां वास्तविक सैद्धांतिक समस्याएं छिपी हो सकती हैं - और स्थानिक बुद्धिमत्ता बाद की होती है।
निर्णय मानकों के इस सेट की उत्पत्ति का पता उसकी विरासत से लगाया जा सकता है। जब तांग ज़ियाओउ छात्रों को पढ़ाते हैं, तो वह लगभग कभी भी तकनीकी विवरण के बारे में नहीं पूछते हैं। वह केवल एक ही चीज़ को देखता है: क्या वह एक या दो वाक्यों में अपने काम और दूसरों के बीच मूलभूत अंतर को समझा सकता है। "दुनिया में कोई भी दो पत्तियां बिल्कुल एक जैसी नहीं हैं।" तकनीकी रूप से, आप हमेशा विवरणों में अंतर पा सकते हैं, लेकिन उस प्रकार के अंतर का नवीनता मूल्य सीमित है; यदि आप इसे एक वाक्य में नहीं कह सकते हैं, तो संभवतः यह कोई वास्तविक नवाचार नहीं है।
लिन डाहुआ ने बताया कि स्थानिक बुद्धि की "असामान्यता" यह है कि स्केलिंग कानून यहां विफल रहता है।
उद्योग में, स्केलिंग कानून पर सार्वजनिक रूप से सवाल उठाना दुर्लभ है। पिछले कुछ वर्षों में उद्योग की आम सहमति से लगभग सभी रणनीतियाँ इसी मार्ग पर दांव लगा रही हैं - जितने बड़े पैरामीटर, उतना अधिक डेटा और उतनी ही मजबूत क्षमताएँ। इस संदर्भ में "एंटी-स्केलिंग कानून" का प्रस्ताव कम से कम उद्योग को एक मुद्दे की फिर से जांच करने के लिए प्रेरित करता है: क्या केवल डेटा और मापदंडों को ढेर करने की प्रथा ने बुद्धिमत्ता के कुछ आयामों में किसी का ध्यान नहीं गया है।
स्थानिक बुद्धिमत्ता से संबंधित कार्यों में, सेंसटाइम टीम द्वारा देखी गई प्रवृत्ति स्केलिंग कानून के बिल्कुल विपरीत है - जितना अधिक डेटा जोड़ा जाता है, मॉडल का प्रदर्शन उतना ही अस्थिर हो जाता है।
उस समय के परीक्षणों में, मॉडल ने परिप्रेक्ष्य लेने के कार्य पर असंतोषजनक प्रदर्शन किया। जब लोग अंतरिक्ष में जाते हैं, तो वे स्वाभाविक रूप से उन परिवर्तनों की भविष्यवाणी करेंगे जो वे देखते हैं: जैसे-जैसे आप दूर जाते हैं, आपके सामने की वस्तुएं छोटी होती जानी चाहिए। लेकिन उस समय के मल्टी-मोडल मॉडल में इस तरह की भविष्यवाणी नहीं थी - भले ही Google जेमिनी अपने मूल मल्टी-मोडल रूट के लिए जाना जाता है और सबसे अच्छा प्रदर्शन करने वालों में से एक है, यह यह निर्धारित करने में भी असमर्थ है कि विभिन्न देखने के कोण और पैमाने पर वस्तुएं किस रूप में दिखाई देंगी।
"यह पहचान सकता है कि यह एक काली भेड़ है, लेकिन यह जवाब नहीं दे सकता कि दूसरे कोण से देखने पर काली भेड़ कैसी दिखती है। मॉडल को जो याद है वह छवि और शब्दार्थ के बीच व्यापक संबंध है: यह दूर से एक काली भेड़ की तरह दिखता है, लेकिन करीब से देखने पर यह अभी भी एक काली भेड़ की तरह दिखता है।"
टीम ने प्रासंगिक डेटा जोड़ना जारी रखा, लेकिन मॉडल का प्रदर्शन बेहतर नहीं हुआ, बल्कि "तेजी से भ्रमित करने वाला" हो गया: सिमेंटिक कनेक्शन लगातार मजबूत हुए, लेकिन डेटा के बीच स्थानिक सहसंबंध की कमी थी, और मॉडल ने जो कुछ भी देखा उसे समझाने के लिए सिमेंटिक्स पर अधिक से अधिक भरोसा किया। जितना अधिक डेटा, उतना गहरा ठोसकरण और त्रुटि उतनी ही अधिक स्थिर।
एक उदाहरण जिसे लिन डाहुआ अक्सर पहले उद्धृत करते थे, इस ठोसकरण के परिणामों को स्पष्ट कर सकता है। उस समय मॉडल को छह अंगुलियों की एक तस्वीर दें, और जीपीटी, जेमिनी और ग्रोक द्वारा दिए गए उत्तर सभी पांच अंगुलियां हैं। मॉडल का निर्णय पथ है: पहले पहचानें "यह एक हथेली है", और फिर प्रशिक्षण कोष में प्राथमिकता "हथेलियों में आमतौर पर पांच उंगलियां होती हैं" के आधार पर सीधे उत्तर दें।
उन्होंने यह भी याद दिलाया कि इस समस्या को संभवतः नवीनतम पीढ़ी के मॉडलों में ठीक कर दिया गया है, लेकिन इसके पीछे का तंत्र अभी भी मान्य है - "यह केवल अर्थ अनुवाद पर निर्भर करता है, और फिर इस अनुवाद के आधार पर अन्य तर्क किए जाते हैं।"
जब सेंसटाइम ने इस साल की शुरुआत में अपना स्थानिक खुफिया मॉडल जारी किया, तब भी बाहरी दुनिया की नजर में यह दिशा एक तकनीकी रिजर्व थी। आधे साल से अधिक समय के बाद, उद्योग ने गति पकड़नी शुरू कर दी। जीपीटी-6 के जारी होने के बाद समुदाय द्वारा कई बिंदुओं पर व्यापक रूप से चर्चा की गई है - आवर्तक ट्रांसफार्मर वास्तुकला को अपनाना और भाषा मॉडल में बड़े पैमाने पर सन्निहित डेटा डालने के बाद प्रदर्शित रोबोट-संचालित क्षमताएं - सभी एक ही बात की ओर इशारा करते हैं: मल्टी-मोडल और स्थानिक क्षमताएं अत्याधुनिक मॉडल के मूल में प्रवेश कर रही हैं।
लिन डाहुआ के विचार में, इसका मतलब है कि सेंसटाइम का मार्ग सत्यापित किया गया है: "जीपीटी-6 वास्तव में साबित करता है कि हम जो रास्ता अपनाते हैं वह निश्चित रूप से मूल्यवान है।" SenseTime के संसाधन OpenAI से काफी कमतर हैं, लेकिन उनका मानना है कि एक या दो वर्षों के निरंतर संचय से SenseTime को उद्योग में अन्य टीमों से कुछ अलग विकसित करने की अनुमति मिलेगी।
स्थानिक बुद्धिमत्ता की विशिष्टता कुछ हद तक दर्शाती है कि अधिक डेटा और गहन ठोसकरण वाली दिशा सैद्धांतिक नवाचार का प्रवेश द्वार हो सकती है। "असामान्यताओं" का पालन करके सिद्धांतों को खोजना तकनीकी निर्णय लेने के लिए सेंसटाइम के विचारों में से एक है। सोच की इस दिशा में एक कदम आगे बढ़ाते हुए, आपको एक अपरिहार्य प्रश्न का सामना करना पड़ेगा: वास्तव में बुद्धि क्या है, और इसमें भाषा की स्थिति क्या है।
· भाषा और बहुविधता: बुद्धि का सार दुनिया के साथ बातचीत है
बड़े मॉडलों के फैलने के बाद से, "क्या भाषा बुद्धिमत्ता की कुंजी है" बहस का केंद्र रहा है।
लिन डाहुआ का मानना है कि भाषा सबसे महत्वपूर्ण मानव ज्ञान को संरचित तरीके से प्रतीक प्रणाली में शामिल करती है और यह "मानव ज्ञान और बुद्धि का एक बहुत ही उच्च स्तरीय प्रतिनिधि है।" बुद्धि का घनत्व एवं कार्यकुशलता सर्वोच्च वाहक हो सकती है। भाषा मॉडल में सबसे परिपक्व इंजीनियरिंग अनुभव और सबसे तेज़ प्रगति है, और इस पर उद्योग का अधिक ध्यान गया है। ये भी हकीकत है.
लेकिन अकेले भाषा, उन्होंने सोचा, अधूरी थी। जैसे किसी हलचल भरे शहर और शांत पहाड़ी जंगल में रहना, लोगों के अनुभव बिल्कुल अलग होते हैं, और आसपास के वातावरण का शब्दों में विस्तार से वर्णन करना संभव नहीं हो सकता है। मान लीजिए कि आप सर्वश्रेष्ठ मल्टी-मॉडल मॉडल को एक पोर्ट्रेट फोटो देते हैं और इसे हजारों शब्दों के साथ यथासंभव विस्तृत विवरण तैयार करने देते हैं, और फिर टेक्स्ट मॉडल को इसे खींचने देते हैं, तो एक समान फोटो बनाना मुश्किल होगा।
उन्होंने इस घटना को सूचना स्पेक्ट्रम पर संपूरकता के रूप में संक्षेपित किया: भाषा उच्च-घनत्व वाली जानकारी को वहन करती है जिसे संघनित किया गया है, जबकि छवियां बड़ी मात्रा में जानकारी को कैप्चर करती हैं जिसे संघनित नहीं किया गया है और जिसे संघनित नहीं किया जा सकता है।
दोनों विधाओं में से प्रत्येक का अपना कुशल क्षेत्र है - कार्यक्रम लिखना और तार्किक निष्कर्ष निकालना, भाषा दक्षता अधिक है; सौंदर्य बोध, स्थानिक संरचना का त्वरित निर्णय, और दृश्य विवरण का संचरण, छवि दक्षता अधिक है। जहां तक पूर्ण-मोडल इनपुट और आउटपुट का सवाल है, सीमा अभी भी बहुत ऊंची है। बुद्धि खोए बिना उन्हें एक साथ रखने में "लागत और समय की आवश्यकता होती है।"
लिन डाहुआ के विचार में, बुद्धिमत्ता का सार मनुष्य की दुनिया के साथ बातचीत करने की क्षमता है - धारणा, ज्ञान की स्मृति, बहु-चरणीय तर्क, निर्देश जारी करना और कई तत्वों के संयोजन का समग्र परिणाम। मानव बुद्धि परीक्षण प्रश्नों की तरह, उन्हें भी विभिन्न प्रकारों जैसे स्थान, स्मृति, तर्क इत्यादि में विभाजित किया जाता है, जो बुद्धि के विभिन्न पहलुओं को दर्शाते हैं।
इस परिभाषा का पालन करते हुए और तीन वर्षों से अधिक समय में बड़े मॉडल के विकास को देखते हुए, उनका निर्णय है कि यह "असंतुलित" है:
गणित, प्रोग्रामिंग और लंबी दूरी के कार्यों के संदर्भ में जिन्हें पाठ और कार्यक्रम अनुक्रम के रूप में लिखा जा सकता है, मॉडल ने सामान्य लोगों के स्तर को पार कर लिया है और यहां तक कि शीर्ष के करीब भी हैं; स्थानिक और भौतिक बुद्धिमत्ता अभी भी अपने प्रारंभिक चरण में है, और रोबोट पहले की तुलना में बहुत तेजी से विकसित हो रहे हैं, लेकिन वे अभी भी केवल सरल कार्य ही कर सकते हैं।
डिजिटल इंटेलिजेंस से भौतिक स्थान की ओर बढ़ना न केवल तकनीकी निर्णय पर निर्भर करता है, बल्कि इस पर भी निर्भर करता है कि क्या तकनीक वास्तविक उपयोगकर्ता परिदृश्यों में बंद लूप के माध्यम से चल सकती है और एक रिपोर्ट कार्ड दे सकती है जो बाजार परीक्षण का सामना कर सकती है।
03
कोई बंद लूप होने पर ही पुनरावृत्ति होती है:
SenseTime के व्यावसायिक उत्तर
सेंसटाइम द्वारा एआई तकनीकी निर्णयों को उत्पादों और राजस्व में बदलने की प्रक्रिया को देखते हुए, लिन डाहुआ ने यह कहा:
शांगटांग का रास्ता सोचने से नहीं, चलने से बनता है।
बड़े मॉडल युग में, सेंसटाइम द्वारा भुगतान किया जाने वाला पहला "ट्यूशन" "चर्चा" नामक एक उत्पाद था। जब यह 2023 की शुरुआत में लॉन्च होगा, तो यह किसी भी अन्य चैट उत्पाद की तरह होगा। लिन डाहुआ ने एक बार उत्पाद को अपनी पत्नी को आज़माने के लिए दिया, लेकिन "चर्चा" पास के रेस्तरां की सिफारिश करने के बारे में बकवास के साथ समाप्त हो गई।
यह बदलाव पूरी तरह से मॉडल की गुणवत्ता के कारण नहीं है। संवादात्मक उत्पादों की नींव समीक्षा और मानचित्र जैसी सूचना अवसंरचना है, लेकिन यह सेंसटाइम की प्रतिभा नहीं है।
2023 के अंत में, SenseTime अपने बड़े मॉडल उत्पादों के लिए सामग्री और इंटरैक्शन पर ध्यान केंद्रित करेगा, दो दिशाओं पर ध्यान केंद्रित करेगा: कार्य सामग्री और मनोरंजन सामग्री। पूर्व अब कार्यालय बुद्धिमान रैकून में विकसित हो गया है - इस वर्ष के अंतरिम परिणामों की घोषणा के अनुसार, व्यवसाय का यह हिस्सा छह से सात गुना बढ़ गया है; बाद वाला सेको में विकसित हो गया है।
सेको की खेल शैली वास्तव में "सृजन" और "पीढ़ी" के बीच अंतर के पीछे निहित है। सुंदर 30-सेकंड की क्लिप बनाएं और 100-एपिसोड शॉर्ट्स बनाएं, सभी को स्क्रिप्ट, स्टोरीबोर्ड, चरित्र-चित्रण और क्रॉस-एपिसोड स्थिरता द्वारा अलग किया गया है। सेको रचनात्मक प्रक्रिया में एकीकृत समझ और पीढ़ी, और ग्राफिक्स और पाठ की इंटरलेस्ड सोच जैसी तकनीकों का उपयोग करता है, और अंतर्निहित प्रतिपादन सीडांस जैसे अन्य मॉडलों पर निर्भर करता है - अकेले पीढ़ी की गुणवत्ता की तुलना नहीं की जा सकती है, इसलिए यह अपने स्वयं के वर्कफ़्लो का एक हिस्सा बन जाता है। लिन डाहुआ के अनुसार, रचनाकारों ने 100 मिलियन से अधिक बार देखे गए लघु नाटक बनाने के लिए सेको का उपयोग किया है।
इन उत्पाद चयनों का समर्थन करना सेंसटाइम की बंद-लूप पद्धति है। लिन डाहुआ ने स्पष्ट रूप से बताया, "हर चीज में, आपको प्रभावी ढंग से पुनरावृत्त करने में सक्षम होने के लिए एक बंद लूप की आवश्यकता होती है, अन्यथा केवल रैंकिंग होगी और कोई पुनरावृत्त नहीं होगा।" आज बेंचमार्क पर चैंपियन बनना अगले महीने नहीं हो सकता है। इस प्रकार की उपलब्धि को बरकरार नहीं रखा जा सकता; वास्तव में जो बचता है वह उपयोगकर्ताओं द्वारा बनाया गया मूल्य है। उन्होंने सुदृढीकरण सीखने में इस सिद्धांत का अनुवाद किया कि अनुसंधान एवं विकास योजना के लिए एक बार में लंबी दूरी तक चलने की तुलना में छोटे कदमों में तेजी से दौड़ना बेहतर है: पुनरावृत्ति गति और सही दिशा एक एकल स्प्रिंट की तुलना में अधिक महत्वपूर्ण हैं।
लिन डाहुआ ने अपने जीवन में एक बार इस परिवर्तन का अनुभव किया है। उनके प्रारंभिक पत्रों में, बीस या तीस सूत्र आदर्श थे; लेकिन 2013 के बाद यह संख्या घटकर पाँच से अधिक नहीं रह गई। उनके निर्णय की कसौटी "क्या गणितीय प्रमाण सुंदर है" से "क्या इसका उपयोग में विभेदित मूल्य है" में बदल गया।
इस वर्ष की सेंसटाइम अंतरिम रिपोर्ट में, हमने "पहले लाभ" का आधिकारिक बयान देखा। हालाँकि, लिन डाहुआ का मानना है कि सेंसटाइम वास्तव में इस बारे में चिंतित है कि क्या यह स्वस्थ और अधिक महत्वपूर्ण हो गया है, और व्यवसाय का बंद-लूप पुनरावृत्ति जीवन शक्ति की अभिव्यक्तियों में से एक है।
1 + बाज़ार में प्रतिस्पर्धा काफी कठोर है, लेकिन यह संस्थापकों और व्यवसाय दोनों के लिए विकास लाती है।
SenseTime के दृष्टिकोण से, उत्पाद और व्यवसाय जीवित चीज़ों की तरह हैं। जब वे अपरिपक्व होते हैं तो हम उन पर दबाव नहीं डालते हैं। हम निवेश बढ़ाने का निर्णय लेने से पहले प्राकृतिक विकास को एक संकेत के रूप में उपयोग करते हैं - उत्पादों को पहले बाजार में प्रवेश करने दें और आंतरिक रूप से पूर्व निर्धारित संकेतकों के विरुद्ध पुनरावृत्ति करने के बजाय एक बंद लूप में परीक्षण किया जाए।
हालाँकि, कुछ हद तक, व्यवसाय बंद लूप केवल "अस्तित्व" के प्रश्न का उत्तर देता है। भविष्य की प्रतिस्पर्धा का सामना करते हुए, चीनी एआई कंपनियों को आसवन के बाद के युग में अपनी स्थिति और दीर्घकालिक प्रतिस्पर्धात्मकता ढूंढनी होगी, और स्पष्ट रूप से देखना होगा कि बुद्धि की सीमाएं कहां हैं।
04
हाथ की गति के अलावा:
चीन की एआई की दीर्घकालिक प्रतिस्पर्धात्मकता और बुद्धिमत्ता की सीमाएँ
लिन डाहुआ का मानना है कि दीर्घकालिक प्रतिस्पर्धात्मकता के लिए पहेली का पहला भाग खुला स्रोत है।
2018 की शुरुआत में, लिन डाहुआ ने एमएमलैब में ओपन सोर्स ओपनएमएमलैब को बढ़ावा दिया: क्षेत्र में प्रतिनिधि एल्गोरिदम को एक एकीकृत बेंचमार्क सिस्टम में व्यवस्थित करना, शोधकर्ताओं को प्रजनन और तुलनात्मक प्रयोगों के गंदे काम से बचाना। यह प्रोजेक्ट बाद में AI 1.0 युग में सबसे प्रभावशाली ओपन सोर्स एल्गोरिदम लाइब्रेरी बन गया, जिसका उपयोग सैकड़ों हजारों सितारों और लाखों डेवलपर्स द्वारा किया गया।
वर्षों बाद, वही तर्क बड़े मॉडलों के युग में फिर से प्रकट हुआ। खुले स्रोत की अंतर्जात प्रेरक शक्ति प्रभाव है: प्रभाव धन जुटा सकता है और लोगों को भर्ती कर सकता है। डीपसीक का प्रदर्शन हर किसी को इस पथ को स्पष्ट रूप से देखने की अनुमति देता है। वस्तुनिष्ठ रूप से, यह परीक्षण और त्रुटि की लागत को पूरे समुदाय में वितरित करता है - मॉडल प्रशिक्षण में केवल R&D लागत का लगभग 10% हिस्सा होता है, और शेष 90% विभिन्न प्रयोगों का होता है; ओपन वेटिंग प्रत्येक कंपनी को अत्याधुनिक प्रौद्योगिकी व्यंजनों को तेजी से चुनने की अनुमति देती है।
इससे यह भी पता चलता है कि चीन का कुल निवेश संयुक्त राज्य अमेरिका से काफी पीछे क्यों है, लेकिन यह इतनी तेजी से आगे बढ़ सकता है। लिन डाहुआ ने कहा, "सबसे बड़ी चिंता यह नहीं जानना है कि सड़क कहां है।" एक बार सड़क दिखने लगे तो विवरण भरना चीनी इंजीनियरों की ताकत है।
लेकिन खुला स्रोत प्रवृत्ति का अनुसरण करने की समस्या का समाधान नहीं कर सकता। लिन डाहुआ ने स्पष्ट रूप से कहा कि पिछले तीन वर्षों में चीन के बड़े मॉडलों का मुख्य मार्ग संयुक्त राज्य अमेरिका द्वारा अग्रणी दिशा में अनुकूलन और नवाचार करना रहा है। औद्योगिक मूल्य बहुत अच्छा है, "लेकिन अगर चीन अधिक स्थायी योगदान देना चाहता है, तो उसे कुछ अलग करना होगा।" उन्होंने डीपसीक को एक सकारात्मक मामले के रूप में इस्तेमाल किया: बड़े प्रतिमान के संदर्भ में यह अभी भी मानक एलएलएम मार्ग है, लेकिन इसने वास्तुशिल्प दक्षता में महान प्रयास किए हैं।
साथ ही, मॉडल बाजार स्वयं खरीददारों को समायोजित नहीं कर सकता है। लागत, बहुमुखी प्रतिभा और व्यावसायिकता एक असंभव त्रिकोण बनाते हैं। एक मॉडल जो सब कुछ कर सकता है, और सब कुछ पेशेवर तरीके से करता है, वह निश्चित रूप से बहुत बड़ा और महंगा होगा। दैनिक परिदृश्यों में, "खुफिया अधिशेष" भी व्यापक है: एक 8बी या 32बी ओपन सोर्स मॉडल अधिकांश कार्यों को संभाल सकता है, और उपयोगकर्ताओं को इसके लिए टोकन में दर्जनों डॉलर का भुगतान करने की आवश्यकता नहीं है। हगिंग फेस पर 30 लाख से अधिक मॉडल हैं, लेकिन हर किसी का जीवन जीने का अपना तरीका है।
वास्तविक जलसंभर आसवन के बाद के युग में आ सकता है।
लिन डाहुआ ने निर्णय दिया कि आसवन का विषय खत्म हो गया था: मौजूदा सोच श्रृंखला प्रश्नों का निर्माण किया गया था, और अगली बाधा नई समस्याएं उत्पन्न करने की क्षमता थी - हजारों, दसियों हजार या यहां तक कि सैकड़ों हजारों वास्तविक कार्य परिदृश्यों का निर्माण करना, जिससे मॉडल को अपने दम पर कार्यों का पता लगाने और पूरा करने की अनुमति मिल सके।
इस मामले में अड़चन वास्तव में कंप्यूटिंग शक्ति नहीं है। चीन एक अच्छा हाथ रखता है: दुनिया में जीवन और उद्योग की विविधता दुर्लभ है, और इंजीनियरों का भंडार दुनिया में सबसे बड़ा है। निचले स्थानों पर फलों को तोड़ने के बाद ऊंचे स्थानों पर लगे फलों को लोगों को पेड़ पर चढ़ना पड़ता है।
हालाँकि, परिदृश्य और जनशक्ति केवल बुद्धिमत्ता की "चौड़ाई" का विस्तार करते हैं; बुद्धि की "गहराई" बुद्धि की विकास दर पर ही निर्भर करती है।
आरएसआई (पुनरावर्ती आत्म-सुधार), जिसने हाल ही में बहुत ध्यान आकर्षित किया है, इस पर ध्यान केंद्रित करता है, लेकिन लिन डाहुआ ने जोर दिया कि आरएसआई बुद्धिमान विकास के साधनों में से केवल एक है। बाधा प्रशिक्षण का स्वचालन नहीं है, बल्कि विकास की दक्षता है: एक प्रभावी अवलोकन बिंदु प्राप्त करने के लिए एक मशीन को अभी भी भारी मात्रा में प्रशिक्षण चलाना पड़ता है; किसी व्यक्ति को किसी नए कौशल में महारत हासिल करने के लिए पूर्ण प्रशिक्षण की आवश्यकता नहीं होती है। वर्तमान AI विकास के मामले में अभी भी इंसानों से बहुत दूर है। एक बार जब यह रहस्य खुल जाएगा, "यह काफी हद तक एआई विकास और प्रतिस्पर्धा के परिदृश्य को नया आकार देगा।"
वह यह भी नहीं मानते कि वर्तमान स्थिति को अनिश्चित काल तक बढ़ा-चढ़ाकर पेश किया जा सकता है: व्यापक संसाधन खपत देर-सबेर प्रक्षेप पथ पर विस्फोट करेगी। क्या मौजूदा रास्ता अंत तक पहुंच सकता है, यह एक खुला प्रश्न है।
जहां तक सीमाओं के विस्तार की बात है, तो पहला सवाल जो उन्हें चिंतित करता है वह यह है: भाषा के अलावा अन्य तौर-तरीके बुद्धि में क्या भूमिका निभाते हैं। यह समझ अभी भी प्रारंभिक चरण में है, लेकिन उत्तर यह निर्धारित करेगा कि संसाधनों को कहाँ निर्देशित किया जाना चाहिए। वह मल्टी-मोडैलिटी और स्पेस के एकीकरण पर अपनी आशा रखता है - बस उत्पन्न करने से केवल दृश्य गुणवत्ता में सुधार होगा; सोच प्रक्रिया में स्थानिक धारणा को एकीकृत करने से बुद्धि अधिक संपूर्ण हो जाएगी।
बुद्धिमत्ता के लिए अपनी सीमाओं को तोड़ने के लिए, बाधा सीखने और विकास की दक्षता में निहित है, जो बिल्कुल वही है जिसमें मनुष्य सर्वश्रेष्ठ हैं लेकिन मशीनें अभी भी बहुत पीछे हैं। इस प्रश्न का SenseTime का उत्तर मॉडल में नहीं लिखा गया है - एक संगठन जो नए लोगों को प्रजनन करना जारी रख सकता है वह स्वयं सबसे व्यवहार्य बुद्धिमत्ता है।
लिन डाहुआ ने यह भी कहा कि इस समय उनका सबसे महत्वपूर्ण काम युवाओं के लिए माहौल बनाना और एक व्यवहार्य संगठन की रक्षा करना है। यह SenseTime के 20% संसाधनों का अंतर्निहित तर्क भी है: सक्रिय रूप से बीज बोएं और विकास की रक्षा करें। यह बीज कोई उत्पाद, व्यवसाय या संगठन में पला-बढ़ा व्यक्ति हो सकता है। सेंसटाइम जो कर रहा है वह बीज के अंकुरित होने की प्रतीक्षा कर रहा है, और जीवन का अपना रास्ता होगा।
Leifeng.com (सार्वजनिक खाता: Leifeng.com)
Leifeng.com के मूल लेख, अनधिकृत पुनरुत्पादन निषिद्ध है। विवरण के लिए पुनर्मुद्रण निर्देश देखें।
संपादन करना
WeChat पर लेखक का अनुसरण करने के लिए स्कैन करें
ईमेल पुनः भेजें ईमेल संशोधित करें




