ओपनएआई की पूर्व मुख्य प्रौद्योगिकी अधिकारी मीरा मुराती द्वारा स्थापित एक नया एआई स्टार्टअप थिंकिंग मशीन्स लैब ने 20 नवंबर, अमेरिकी समयानुसार अपने नए मॉडल इंकलिंग 2 मिनी को ओपन सोर्स किया। इस मॉडल के लिए केवल 20GB मेमोरी की आवश्यकता होती है और इसे उपभोक्ता-ग्रेड लैपटॉप पर ऑफ़लाइन निष्पादित किया जा सकता है। शोधकर्ता ने विमान में हवाई जहाज मोड चालू किया और कुछ ही मिनटों में खेलने योग्य उड़ान सिम्युलेटर लिखने के लिए मैकबुक प्रो का उपयोग किया।

के अनुसार थिंकिंग मशीन्स आधिकारिक प्रकाशन100 बिलियन से कम के कुल पैरामीटर वाले ओपन सोर्स वेट मॉडल में, इंकलिंग 2 मिनी ने डीपएसडब्ल्यूई वी1.1 परीक्षण में 48.2% और व्यापक परीक्षण वाल्स इंडेक्स वी2.2 में 46.5% स्कोर किया, दोनों अपनी कक्षा में प्रथम स्थान पर हैं।

कुल पैरामीटर 26.4 बिलियन हैं, हर बार केवल 3.4 बिलियन स्थानांतरित होते हैं, और मेमोरी लगभग 20 जीबी है।

ओपन सोर्स वेट कंपनी के सार्वजनिक मॉडल की पैरामीटर फ़ाइलों को संदर्भित करता है, जिसे कोई भी निष्पादित या संशोधित करने के लिए अपने कंप्यूटर पर डाउनलोड कर सकता है। के अनुसार हगिंग फेस मॉडल पेज, इंकलिंग 2 मिनी को अपाचे 2.0 द्वारा लाइसेंस प्राप्त है और इसका व्यावसायिक उपयोग किया जा सकता है।

यह एक "मिश्रित विशेषज्ञ" आर्किटेक्चर है: मॉडल में सबनेटवर्क के कई समूह हैं, प्रत्येक की अपनी विशेषज्ञता है, और उनमें से केवल कुछ ही एक समय में उपयोग किए जाते हैं। इंकलिंग 2 मिनी के कुल पैरामीटर 26.4 बिलियन हैं, लेकिन वास्तव में प्रत्येक शब्द के लिए केवल 3.4 बिलियन का उपयोग किया जाता है।

मॉडल के अधिकांश भार प्रशिक्षण से तैनाती तक 4-बिट एनवीएफपी4 प्रारूप का उपयोग करते हैं, और अंतिम चार परतें 8-बिट एमएक्सएफपी8 का उपयोग करती हैं। तैनाती के दौरान संपीड़ित और परिवर्तित करने की कोई आवश्यकता नहीं है, इसलिए कोई अंक हानि नहीं होगी। अधिकारियों ने कहा कि लॉन्च होने पर यह ओलामा के माध्यम से चलने के लिए 32 जीबी या अधिक मेमोरी वाले मैक का समर्थन करेगा, और ह्यूडा का डीजीएक्स स्पार्क डेस्कटॉप एआई कंप्यूटर भी चल सकता है।

"लूप" डिज़ाइन जिसमें मध्य परत में प्रत्येक शब्द तीन बार चलता है

इंकलिंग 2 मिनी की सबसे खास बात लूप आर्किटेक्चर है। मॉडल में कुल 24 परतें हैं और इसे 4 खंडों में विभाजित किया गया है। हर बार जब कोई शब्द संसाधित होता है, तो पहले और आखिरी दो खंड एक-एक बार चलाए जाते हैं, और बीच के दो खंड तीन बार दोहराए जाते हैं। यह संचालन की 48 परतों को निष्पादित करने के लिए मापदंडों की 24 परतों का उपयोग करने के बराबर है।

आधिकारिक बयान यह है कि मध्य परत अधिक अमूर्त तर्क के लिए जिम्मेदार है। इसे कई बार चलाने से मॉडल को अधिक गहराई से सोचने और सही उत्तर पाने के लिए कम शब्दों का उपयोग करने की अनुमति मिलेगी। यह एआई एजेंट प्रोग्रामिंग कार्यों के लिए विशेष रूप से सहायक है जिनके लिए तर्क गुणवत्ता की आवश्यकता होती है। आधिकारिक प्रयोग में, लूप को मध्य 12 परतों में रखा गया था, और 28 में से 27 मूल्यांकनों ने लूप को अंतिम 12 परतों में रखने की तुलना में अधिक प्रगति दिखाई।

लागत गणना की मात्रा है. आधिकारिक तौर पर समान पैमाने के लूप-मुक्त संस्करण की तुलना करने पर, लूप-मुक्त संस्करण की प्रशिक्षण लागत 7.5% कम है, लेकिन समान प्रदर्शन प्राप्त करने के लिए, अनुमान के लिए 140% अधिक गणना की आवश्यकता होती है।

मैं प्रोग्राम लिखने में तो आगे हूं, लेकिन ज्ञान याद रखने में मैं बेहतर नहीं हो पा रहा हूं।

अधिकारी ने जेम्मा 4 31बी, क्यूवेन3.8-27बी और अन्य समकक्ष ओपन सोर्स मॉडल की तुलना की। DeepSWE v1.1 प्रोग्रामिंग टेस्ट में, इंकलिंग 2 मिनी ने 48.2% स्कोर किया, और Qwen3.8-27B ने 42.2% स्कोर किया;हगिंग फेस ब्लॉगसंक्षेप में, इन 4 मॉडलों की तुलना में, यह 48 परीक्षणों में से 32 में आगे है।

लूप्स तर्क को बढ़ा सकते हैं, लेकिन वे मॉडल को अधिक ज्ञान याद रखने में सक्षम नहीं बनाते हैं। तथ्यात्मक प्रश्नों और उत्तरों के अंक समान आकार के मॉडल के समान होते हैं। अधिकारियों ने कहा कि इंकलिंग 2 मिनी ने परिणामों को पूरक करने के लिए खोज और टूल का उपयोग करना शुरू कर दिया, और इसने ब्राउजकॉम्प जैसे परीक्षणों में आगे प्रदर्शन किया, जिनके लिए जानकारी के लिए ऑनलाइन खोज की आवश्यकता होती है।

अधिकारी ने कमजोरियां भी गिनाईं: कई दौर की बातचीत और कई सशर्त निर्देश, स्कोर Qwen3.8-27B से पीछे; एचएलई-डायमंड जैसे कठिन तर्क परीक्षणों में, यह बड़े मॉडल जितना अच्छा नहीं है।

यदि आप अधिक सोचते हैं लेकिन उसे लिखते नहीं हैं, तो क्या पर्यवेक्षण करना अधिक कठिन होगा?

अब एआई की निगरानी करने का एक मुख्य तरीका मॉडल द्वारा लिखी गई तर्क प्रक्रिया (सोच श्रृंखला) को पढ़ना है। लूप मॉडल को बोलने से पहले आंतरिक रूप से कुछ और चरणों की गणना करने की अनुमति देता है। बाहरी दुनिया चिंतित है कि कुछ तर्क लिखे ही नहीं जाएँगे, जिससे पर्यवेक्षण और अधिक कठिन हो जाएगा।

थिंकिंग मशीन्स ने इस उद्देश्य के लिए समायोज्य लूप समय के साथ एक शोध संस्करण मॉडल भी खोला। परीक्षण से पता चलता है कि निष्कर्ष लिखने और सीधे उत्तर देने के बिना, मॉडल जिस कार्य को पूरा कर सकता है उसकी लंबाई मानव कार्य के 16 सेकंड से बढ़ जाती है जब इसे तीन बार चलाने पर 37 सेकंड हो जाता है, और फिर यह लगभग समान होता है।

पांच बार चलाने पर, मॉडल के अनुमान शब्दों की औसत संख्या 1,661 शब्द (टोकन) होती है, जो एक बार चलने पर 3,703 शब्दों के आधे से भी कम है। हालाँकि, अंग्रेजी शब्दकोश में वाक्य की लंबाई और शब्दों का अनुपात नहीं बदला है, और यह अभी भी समझ में आता है। दुर्भावनापूर्ण कार्यों का अनुकरण करने वाले LinuxArena परीक्षण में, पकड़े गए बिना गुप्त रूप से दुर्भावनापूर्ण कार्यों को पूरा करने के अनुपात में लूप की संख्या के साथ कोई स्पष्ट रुझान नहीं दिखा।

अधिकारी ने इस बात पर जोर दिया कि यह केवल प्रारंभिक परिणाम है। मॉडल के सुदृढीकरण सीखने का अनुसंधान संस्करण केवल तीन लूप प्रशिक्षण का उपयोग करता है। अधिक लूप वाला एक बड़ा मॉडल तर्क को और भी अधिक संपीड़ित करने में सक्षम हो सकता है। यह एक कारण है कि वे खुले स्रोत हैं, उम्मीद करते हैं कि अनुसंधान समुदाय लूप मॉडल की पर्यवेक्षणीयता का अध्ययन करने के लिए मिलकर काम करेगा।

इंकलिंग 2 मिनी को थिंकिंग मशीन्स के फाइन-ट्यूनिंग प्लेटफॉर्म टिंकर पर लॉन्च किया गया है। हगिंग फेस पर पूरा जोर देकर इसका अनुमान और अनुकूलन किया जा सकता है। सामान्य ओपन सोर्स टूल जैसे एसजीएलएंग, वीएलएलएम और ओलामा भी समर्थित हैं।

यह लेख ओपनएआई के पूर्व मुख्य तकनीकी अधिकारी ने एक नया ओपन सोर्स छोटा मॉडल बनाया: लैपटॉप ऑफ़लाइन चलता है और हवाई जहाज पर एक उड़ान सिम्युलेटर लिखा होता है। में पहली बार दिखाई दिया चेन न्यूज़ एबीमीडिया。