Apple के नए CEO हाल ही में अपने AI की प्रगति से थोड़े असंतुष्ट हैं।

ब्लूमबर्ग की ताजा खबर के मुताबिक, एप्पल के सीईओ जॉन टर्नस ने सॉफ्टवेयर निदेशक फेडेरिघी से एआई विकास की गति तेज करने और अधिक साहसी योजनाएं लाने को कहा है। वह केवल कुछ कार्यों के साथ सिरी को अपग्रेड नहीं कर सकता।

Apple के AI कार्यान्वयन की गति की तुलना में, Apple की अनुसंधान प्रगति वास्तव में सन्निहित बुद्धिमत्ता सहित कई अपेक्षाओं से अधिक है। ऐप्पल इस बात पर भी अध्ययन कर रहा है कि एआई को ऐसी बॉडी कैसे दी जाए जो वास्तविक दुनिया में काम कर सके।

हाल ही में, Apple अनुसंधान टीम ने HALO नामक एक ह्यूमनॉइड रोबोट पर एक अध्ययन का खुलासा किया, जो सीधे तौर पर युशू G1 को बॉडी के रूप में उपयोग करता है और पीछे की ओर एक Mac मिनी M4 Pro का उपयोग करता है, जो अभी भी अलीबाबा के कियानवेन मॉडल पर चलता है।

यह प्रतीत होता है कि हाइब्रिड सिस्टम पहले से ही रोबोटों को स्वतंत्र रूप से अजीब घरों में चलने, बैठने के लिए कुर्सियाँ ढूंढने, टेबल के नीचे जाने और बक्से को दूर धकेलने की अनुमति दे सकता है। 6 वास्तविक जीवन परिवेशों में 360 परीक्षणों की औसत सफलता दर 91% थी, जिन्हें पहले कभी नहीं देखा गया था और न ही स्कैन किया गया था।

चित्र | प्रोजेक्ट का पता: https://apple-aiml-research.github.io/ml-halo/

इससे भी अधिक दिलचस्प बात यह है कि Apple को इन प्रशिक्षण डेटा को इकट्ठा करने के लिए रोबोट को दूर से नियंत्रित करने वाला कोई नहीं मिला।

अनुसंधान टीम ने हजारों आभासी घरों में रोबोट गति और दृश्य डेटा उत्पन्न करने के लिए सैकड़ों जीपीयू का उपयोग किया, और फिर सीखे गए कौशल को सीधे वास्तविक दुनिया में स्थानांतरित कर दिया।

इसका मतलब यह है कि ह्यूमनॉइड रोबोट जिन्हें मूल रूप से मनुष्यों द्वारा मैन्युअल निर्देश की आवश्यकता होती थी, अब उन्हें कंप्यूटिंग शक्ति पर भरोसा करके सीखने का अवसर मिलता है।

[डेमो-1080.mp4]

किसी रोबोट को बैठना सिखाने के लिए, आपको सबसे पहले वह जो देखता है उसकी तस्वीर खींचनी होगी।

जब हम सुनते हैं "कुर्सी पर बैठो," तो हम आम तौर पर देखते हैं कि कुर्सी कहां है, फिर चलते हैं, घूमते हैं, और फिर अपने शरीर का वजन सीट पर डालते हैं।

रोबोटों के लिए, इस प्रक्रिया के लिए बहुत विशिष्ट प्रशिक्षण डेटा की आवश्यकता होती है। एक सामान्य डेटा नमूने में न केवल उसके द्वारा सुने गए निर्देश और पहले व्यक्ति द्वारा देखी गई छवियां शामिल होनी चाहिए, बल्कि यह भी रिकॉर्ड होना चाहिए कि कार्य पूरा करते समय पूरे शरीर के जोड़ कैसे चलते हैं। एकत्र करने के लिए मानव रिमोट ऑपरेशन पर भरोसा करते हुए, हर बार जब कोई अतिरिक्त नमूना होता है, तो इसे फिर से करना पड़ता है।

इस युग्मित रोबोट के डेटा को "विज़न-लैंग्वेज-एक्शन, वीएलए" कहा जाता है। बड़े भाषा मॉडलों के प्रशिक्षण के विपरीत, जो इंटरनेट पर अटूट पाठ का उपयोग कर सकते हैं, वास्तविक दुनिया में कोई मौजूदा वीएलए कॉर्पस डेटा नहीं है।

प्रत्येक प्रशिक्षण नमूना विशेष रूप से किसी के द्वारा निर्मित किया जाना चाहिए: एक रिमोट ऑपरेटिंग सिस्टम (जैसे ALOHA) या एक पहनने योग्य मोशन कैप्चर डिवाइस (जैसे UMI)। एक घंटे का डेटा तैयार करने के लिए कम से कम एक घंटे की जनशक्ति की आवश्यकता होती है। यह ह्यूमनॉइड रोबोट के क्षेत्र में एक प्रसिद्ध "डेटा अड़चन" भी है।

Apple के पेपर HALO द्वारा दिया गया समाधान हैअब कोई मानव डेटा नहीं, सभी सिमुलेशन द्वारा संश्लेषित।

अनुसंधान टीम ने पूर्ण-शरीर की गतिविधियों को उत्पन्न करने के लिए एक गति प्रसार मॉडल का उपयोग किया, और यादृच्छिक फर्नीचर घनत्व के साथ रहने वाले कमरे, कार्यालयों और शयनकक्षों के साथ 1,000 आभासी घर बनाने के लिए एक प्रोग्राम जनरेटर (इन्फिनिजेन) का उपयोग किया। फिर उन्होंने इसहाक सिम में दृश्य में गतिविधियों को रखा, रोबोट के हेड कैमरे का प्रथम-व्यक्ति दृश्य प्रस्तुत किया, और अंत में इसे खराब नमूनों को स्क्रीन करने के लिए स्वचालित सत्यापनकर्ता को सौंप दिया जो मोल्ड पहनते हैं या फिसल जाते हैं।

उदाहरण के लिए, कुर्सी पर बैठते समय, शोधकर्ताओं ने सबसे पहले चलने, घूमने, बैठने और मजबूती से बैठने की अंतिम मुद्रा के चरणों को निर्दिष्ट किया।एक्शन जेनरेशन मॉडल इसके आधार पर प्रक्षेप पथ के कई सेट देता है, प्रोग्राम जाँचता है कि क्या पैरों के तलवे फिसल गए हैं, क्या शरीर ज़मीन से गुज़रा है, और क्या जोड़ों ने गति की सीमा को पार कर लिया है, और फिर आस-पास के फ़र्निचर से बचने के लिए स्क्रीन किए गए आंदोलनों और कुर्सियों को आभासी कमरे में रख दें।

इसके बाद, सिम्युलेटर ने रोबोट के हेड कैमरे की स्थिति से दृश्य को कैप्चर किया। टीम ने लगभग 1,000 प्रक्रियात्मक रूप से निर्मित कमरों पर काम किया। 163,000 आइटम, लगभग 300 घंटेयुग्मित नमूने, डेटा का आकार केवल कंप्यूटिंग शक्ति द्वारा सीमित है।

पेपर में यह भी उल्लेख किया गया है कि अकेले एसआईटी (बैठ जाओ) कौशल के 50,000 नमूने तैयार करने में 250 एच100 जीपीयू और 9 घंटे लगे; सभी 1,178 कमरों के निर्माण में लगभग 300 जीपीयू और 26 घंटे लगे।

कमरे की विविधता भी एक भूमिका निभाती है। अनुसंधान टीम ने एक्शन डेटा की मात्रा को अपरिवर्तित रखा और केवल प्रशिक्षण दृश्यों की संख्या को समायोजित किया। 100 अदृश्य सिम्युलेटेड कमरों में, कुर्सी पर बैठने की सफलता दर 43% से बढ़ गई जब केवल 1 कमरे का उपयोग प्रशिक्षण के लिए किया गया था और जब 100 कमरों का उपयोग किया गया तो 81% हो गई। 1,000 और दृश्य जोड़ने पर स्कोर बढ़कर 84% हो गया।

Apple का रोबोट इकोसिस्टम उसके अपने चिप्स पर चलता है

HALO की स्वायत्तता त्रि-स्तरीय संरचना के सहयोग से पूरी की जाती है, औरसभी रोबोट बॉडी पर चलते हैं, कोई इंटरनेट कनेक्शन नहीं, कोई रिमोट कंट्रोल नहीं, बाहरी मोशन कैप्चर की कोई आवश्यकता नहीं।

• ऑर्केस्ट्रेटर (लगभग 0.5 हर्ट्ज): एक दृश्य भाषा मॉडल (डिफ़ॉल्ट स्थानीय रूप से चलने वाला Qwen3.6-35B-A3B है) हर दो सेकंड में स्क्रीन को देखता है और "बॉक्स को टेबल पर धकेलने में मेरी मदद करें" जैसे निःशुल्क निर्देशों को उप-कार्य अनुक्रमों में तोड़ सकता है;

• मोशन जनरेटर (3 हर्ट्ज): जमे हुए Qwen3.5-2B वीएलएम एनकोडर प्लस स्क्रैच से प्रशिक्षित एक डिफ्यूजन ट्रांसफार्मर डिकोडर वर्तमान प्रथम-व्यक्ति दृश्य छवि और उप-कार्यों के आधार पर अगले 5 सेकंड के लिए एक पूर्ण-शरीर गति योजना उत्पन्न करता है, यानी, रोबोट बॉडी प्लस पेल्विक मुद्रा पर 29 संयुक्त कोण;

• मोशन ट्रैकर (50 हर्ट्ज): वास्तविक संयुक्त आदेशों में आंदोलन योजनाओं को लागू करने के लिए गहराई की दृष्टि और प्रोप्रियोसेप्शन को जोड़ती है। इसमें "विशेषाधिकार प्राप्त विशेषज्ञ प्रशिक्षण → बहु-शिक्षक आसवन → बहु-आलोचक सुदृढीकरण सीखने की फाइन-ट्यूनिंग" का तीन चरण का प्रशिक्षण दिया गया है और यह "शारीरिक समस्याओं" को हल करने के लिए सबसे निचला स्तर है।

सामान्य तौर पर, ऊपरी दो स्तर "सिमेंटिक" समस्या को हल करते हैं, अर्थात निर्देश किस कुर्सी को संदर्भित करता है; निचली परत इस समस्या का समाधान करती है कि संतुलन खोए बिना बट को कुर्सी की सतह पर मजबूती से कैसे लगाया जाए।

इस व्यवस्था का दिलचस्प हिस्सा सॉफ्टवेयर और हार्डवेयर का मिश्रण है। यह सोचने के लिए पीछे मैक मिनी एम4 प्रो (64 जीबी एकीकृत मेमोरी) के साथ युशू यूनिट्री जी1 की बॉडी का उपयोग करता है, और मूल रोबोट जेटसन ओरिन एनएक्स 50 हर्ट्ज वास्तविक समय नियंत्रण के लिए जिम्मेदार है। सिर पर एक 120° वाइड-एंगल कैमरा स्थापित किया गया है, और पूरा शरीर वायरलेस है, कोई केबल नहीं है, और कोई बाहरी गति कैप्चर नहीं है।

इस Apple रोबोट, Mac Mini M4 Pro के पीछे का मस्तिष्क, अलीबाबा के एक ओपन-सोर्स मॉडल को स्पोर्ट करता है। बेशक, ऑर्केस्ट्रेटर क्लाउड के अत्याधुनिक बड़े मॉडल को कॉल करने का विकल्प भी सुरक्षित रखता है, और ऑफ़लाइन होने पर पूरी तरह से स्थानीय मॉडल पर निर्भर करता है।

मैक मिनी बिना किसी अलग बैटरी या पावर एडॉप्टर के सीधे रोबोट (युशू जी1) की आंतरिक पावर बस से बिजली लेता है।

जब असली मशीन चल रही हो, तो पीछे की तरफ मैक मिनी यह निर्धारित करेगा कि व्यक्ति किस कुर्सी के बारे में बात कर रहा है और पहले क्या करना है। एक्शन मॉडल वर्तमान चरण को संभालता है और कैमरा फुटेज के आधार पर अगले 5 सेकंड के लिए पूरे शरीर की गतिविधियों को उत्पन्न करता है, जो प्रति सेकंड लगभग 3 बार अपडेट होता है।

परेशानी यह है कि जब रोबोट किसी नई योजना की प्रतीक्षा कर रहा होता है, तो हो सकता है कि वह पहले ही अपना एक पैर ऊपर रख चुका हो। यदि नई योजना का पालन किया जाता है और पैर का स्थान बदल दिया जाता है, तो आंदोलन अचानक होगा।

HALO गति जनरेटर के लिए अतुल्यकालिक तर्क + प्रशिक्षण-समय उपसर्ग बाधाओं का उपयोग करता है। नई योजना बनाते समय, यह पुरानी योजना में तय की गई आधे-सेकंड की कार्रवाइयों को बरकरार रखेगा और केवल अगले 4.5 सेकंड की पुनर्गणना करेगा। इस तरह, रोबोट चलना जारी रख सकता है, और नई योजनाएँ उन कार्यों का अनुसरण कर सकती हैं जो उसने पहले ही शुरू कर दिए हैं।

इसके अलावा, जी1 के साथ आने वाली जेटसन चिप नीचे की ओर देखने वाले गहराई वाले कैमरे और बॉडी स्टेटस को जोड़कर 29 जोड़ों के लिए प्रति सेकंड 50 बार स्थिति लक्ष्य को अपडेट करती है। ऊपरी स्तर की योजना में "बैठ जाओ" वाक्य अब वास्तविकता में क्रियाओं की एक श्रृंखला में बदल गया है जिसमें घुटनों को कितना मोड़ना है और धड़ को कैसे स्थिर करना है। सिम्युलेटेड चेयर परीक्षण में, यदि गहराई इनपुट की इस परत को हटा दिया जाता है, तो सफलता दर 84% से गिरकर 74% हो जाएगी।

अधिकांश पिछले समान कार्यों का परीक्षण उन कमरों में किया गया था जिन्हें पहले से स्कैन किया गया था, जबकि HALO का मूल्यांकन वातावरण था 6 वास्तविक घर जो कभी भी प्रशिक्षण में दिखाई नहीं दिए और जिन्हें कभी स्कैन या मैप नहीं किया गया。

इन वातावरणों में, रोबोट ने छह कार्य पूरे किए: बैठना, एक निर्दिष्ट वस्तु की ओर चलना, आधे खुले दरवाजे से होकर गुजरना, मेज के नीचे बैठना/रेंगना, और बक्सों को धक्का देना। 360 भौतिक प्रयोगों की औसत सफलता दर थी 91%, जो अनुकरण में बिल्कुल 91% के समान है।

जब कौशलों को संयुक्त कार्यों में एक साथ जोड़ दिया जाता है (जैसे कि "टेबल के पार ड्रिल करना → बॉक्स तक चलना → बॉक्स को धक्का देना"), तो सफलता दर लगभग 70% तक गिर जाती है। विफलता का कारण बहुत दिलचस्प है: पिछली कार्रवाई के अंत में रोबोट गलत दिशा का सामना कर रहा था, अगला लक्ष्य बिल्कुल भी देखने के क्षेत्र में नहीं था, और रोबोट अन्य वस्तुओं द्वारा "भटक गया" था। लेकिन इसका समाधान भी आसान है. पेपर में उल्लेख किया गया है कि "लक्ष्य को खोजने के लिए हलकों में घूमना" का एक सरल पुनर्प्राप्ति व्यवहार जोड़ने से समस्या कम हो सकती है।

इससे भी अधिक प्रभावशाली बात यह है कि नियंत्रित प्रयोगों में, जब प्रशिक्षण दृश्यों की संख्या 1 से 100 तक बढ़ गई, तो रोबोट की सफलता दर 43% से बढ़कर 81% हो गई; और फिर 1,000 तक बढ़कर 84% तक पहुंच गया।

यह Apple का पहला कदम नहीं है

हालाँकि Apple के AI में कई बार देरी हुई है, पिछले दो वर्षों में Apple के सार्वजनिक पत्रों को देखने पर, सन्निहित बुद्धिमत्ता का लेआउट धीरे-धीरे स्पष्ट हो गया है:

• नवंबर 2024, कवच(सीएमयू के साथ सहयोग): फूरियर जीआर1 की भुजाओं को त्वचा जैसे 40 कम लागत वाले टीओएफ राडार से कवर करना, ह्यूमनॉइड रोबोटों की रोड़ा समस्या को हल करना जो अपनी खुद की भुजाओं को नहीं देख सकते हैं, और पहले-परिप्रेक्ष्य हवाई धारणा मार्ग की स्थापना करना;

• जनवरी 2025, ELEGNT: स्क्रीन को रिफ्रेश करने वाला पिक्सर डेस्क लैंप रोबोट "फ़ंक्शन + एक्सप्रेशन" के मोशन डिज़ाइन की खोज करता है, जिससे रोबोट सिर हिला सकता है, पास आ सकता है और हमारा ध्यान निर्देशित करने के लिए रोशनी का उपयोग कर सकता है। उपभोक्ता रोबोट के स्वरूप पर एप्पल की भी यही सोच है;

• मई 2025, ईगोडेक्स और पीएच2डी: विज़न प्रो का उपयोग 829 घंटे के प्रथम-व्यक्ति निपुणता ऑपरेशन डेटा को इकट्ठा करने के लिए किया गया था, और हेडसेट पहनने वाले एक मानव प्रशिक्षक ने सीधे ह्यूमनॉइड रोबोट को प्रशिक्षित किया।

HALO इस पंक्ति का संक्षिप्त अंत जैसा दिखता है। अवधारणात्मक रूप से, यह प्रथम-व्यक्ति परिप्रेक्ष्य दर्शन को विरासत में मिला है। यह दृश्य ELEGNT में दर्शाए गए परिवार पर लक्षित है। डेटा की सबसे महत्वपूर्ण कड़ी में, Apple ने इस बार मानव संग्रह छोड़ दिया और सिमुलेशन पर दांव लगाया।

निःसंदेह, हजारों घरों में वास्तव में प्रवेश करने से पहले HALO को अभी भी एक लंबा रास्ता तय करना है।

अब वह कुर्सी पर बैठ सकता है, मेज के नीचे रेंग सकता है और बक्सों को धकेल सकता है, लेकिन गंदे शयनकक्ष को साफ करने या रेफ्रिजरेटर से पेय की बोतल निकालने से पहले उसे अभी भी बहुत सारे कौशल सीखने की जरूरत है। यहां तक ​​कि प्रत्येक नए कौशल को जोड़ने के बाद भी, शोधकर्ताओं को अभी भी गति संकेतों और कीफ़्रेमों को मैन्युअल रूप से डिज़ाइन करने की आवश्यकता होती है।

हालाँकि, HALO कम से कम एक बात साबित करता है:वास्तविक दुनिया के साथ बातचीत करना सीखने वाले ह्यूमनॉइड रोबोट के लिए बड़े पैमाने पर आगे बढ़ने का आसान रास्ता हो सकता है。

अतीत में, यदि आप चाहते थे कि एक रोबोट 300 घंटे का अनुभव अर्जित करे, तो किसी को आपके साथ अभ्यास करना होगा और इसे रिकॉर्ड करना होगा। आज, शोधकर्ता केवल एक दिन में समान मात्रा में प्रशिक्षण डेटा उत्पन्न करने के लिए सैकड़ों जीपीयू का उपयोग कर सकते हैं, और फिर उस अनुभव को एक ऐसे रोबोट को सौंप सकते हैं जिसने कभी वास्तविक घर में कदम नहीं रखा है।

इससे भी दिलचस्प बात यह है कि इस बार Apple के पास अपनी रोबोट बॉडी भी नहीं है। युशू का जी1, अलीबाबा का कियानवेन, एनवीडिया का जेटसन और मैक मिनी एक ऐसी प्रणाली बनाते हैं जो स्वायत्त रूप से अनुभव और कार्य कर सकती है।

जब रोबोट प्रशिक्षण कंप्यूटिंग शक्ति पर अधिक से अधिक निर्भर होने लगता है, तो भविष्य में ह्यूमनॉइड रोबोट उद्योग में प्रतिस्पर्धा इस बात से भी बढ़ सकती है कि किसका शरीर अधिक लचीला है जो रोबोट को तेजी से और सस्ते में अनुभव प्राप्त करा सकता है।

# aifaner के आधिकारिक WeChat सार्वजनिक खाते का अनुसरण करने के लिए आपका स्वागत है: aifaner (WeChat ID: ifanr)। जितनी जल्दी हो सके आपको अधिक रोमांचक सामग्री प्रदान की जाएगी।