Claude Fable 5.2 がリリースされたのと同じ 11 月 10 日、Ant Lingbo Technology は基本的な触覚モデル LingBot-Touch をオープンソース化しました。デジタル世界の一般的な大規模モデルと閉ループ物理操作の具体化された基本モデルが同日公開されました。

これら 2 つの技術的ルートの関係は、身体化インテリジェンス業界における現在の議論の焦点です。 Ant Lingbo 氏の見解では、一般的な大型モデルと具現化された基本モデルは 1+1>2 の相乗関係に近いものです。前者はタスクと環境の理解と推論を強化し、後者は物理的知覚と閉ループ操作能力を補完します。この 2 つが連携して初めて、身体化産業の成熟を共同で加速させることができます。

オープンソースの LingBot-Touch は、5,000 時間近い実際の触覚データの事前トレーニングに基づいており、磁気触覚、視覚触覚、ピエゾ抵抗という 3 つの主流センシング原理をカバーしています。さまざまな信号を、さまざまな器用な手や動作モデルで使用できる同じ一連の触覚表現に変換することができ、ロボットが「明確に見て明確に考える」ことができると同時に、微細な操作に必要な触覚をさらに補完することができます。

これまで、Ant Lingbo のユニバーサル ブレインは、高精度の空間認識、高度に動的な環境インタラクション、一般化可能な器用な操作をカバーしてきました。今回、LingBot-Touch が LingBot-VLA に接続され、センシング機能が「指先」まで拡張され、ロボットの「タッチがより敏感」になり、ネイティブの万能脳の手と目の調整能力がさらに向上しました。

26 回の実機テストにより、ミッション成功率が 14 ～ 26 パーセントポイント増加

汎用の大型モデルが進化し続けるにつれて、複雑なタスクを理解し、操作手順を推論するロボットの能力が向上しています。しかし、現実の物理世界では、ロボットが動作を実行するたびに、物体や環境の変化を感知し、次の動作を修正する必要があります。多くの繊細な作業では、ロボットは物体の位置を明確に認識し、正しい位置に手を伸ばすことができますが、タスクを正常に完了できない場合があります。指が物体に触れた後、その力が適切かどうか、物体が滑っていないかどうかを判断することは困難です。視覚だけで判断するのは難しく、位置を埋めるには触る必要があります。

ボトルのキャップを器用に手で締める場合を例にとると、深さの情報は指でボトルのキャップを位置合わせするのに役立ちます。回し始めた後、ボトルのキャップが緩んでいたり、指先がキャップの壁に沿って滑ったりしている可能性があります。この 2 つの状況は図では似ていますが、異なる動きの調整が必要です。指先の接触位置や力の大きさ、その変化は指や物体に隠れて視覚的に得にくいことも多いですが、動作モデルを判断するための重要な根拠となります。

実際の操作における触覚表現の助けを検証するために、Ant Lingbo は、本のページをめくる、ボトルのキャップをひねる、麻雀牌の識別などの細かい操作をカバーする 2 つの器用な手、Sharpa Wave と XHand1 で 26 回の実機テストを実施しました。 LingBot-Touch にアクセスした後、LingBot-VLA、π0.5、Diffusion Policy、T-Rex の 4 つのアクション モデルの平均タスク成功率は、タッチなしの場合と比較して約 14 ～ 26 パーセント増加しました。ティラノサウルスがシャーパウェーブを制御してボトルのキャップをひねる場合を例にとると、触覚を使わずにタスク成功率は56.25％、センサー本来の信号を直接入力した場合は62.5％となった。 LingBot-Touch 触覚表現への接続後の成功率は 90% に達します。

(キャプション: LingBot-Touch にアクセスした後、器用な 2 つの手の 4 つのアクション モデルの成功率が最高レベルに達しました)

触覚表現を統一し、ハードウェア、モデル、タスク全体で「感触」を再利用する

ロボットに触覚センサーを搭載したからといって、その触覚をうまく活用できるわけではありません。現時点では、商用触覚センサーは全体としてはまだ開発の初期段階にあります。光触覚、磁気触覚、ピエゾ抵抗などの主流のルートには、それぞれ独自の長所と限界があります。コストや使用シナリオが異なる場合、複数の技術ルートが長期間にわたって共存する可能性があります。さらに問題なのは、これらのセンサーによって収集されたデータを直接一般化することが難しいことです。同じ接触でも、異なる感知原理や接触レイアウトの下では異なる元の信号が形成されます。モデルがそれらのうちの 1 つだけを解釈することを学習すると、センサーまたは器用な手を交換した後、既存のデータと触覚エクスペリエンスを再利用するのが困難になる可能性があり、再取得、トレーニング、適応が必要になります。

したがって、ハプティクスの大規模実装の鍵は、特定のセンサーからの物理信号への依存から触覚の理解を解放し、さまざまなソースからのデータをトレーニングに共同使用でき、蓄積された触覚機能をセンサー、器用な手、モデル、タスク間で再利用できるようにすることです。

この目的を達成するために、LingBot-Touch はセンシング原理に従ってコーディング入口を設定し、最初に異なる元の信号を処理し、次に異なるレイアウトの接触を統一された指先座標空間にマッピングします。共有モデルは接触位置、力、それらの時間変化を学習し、統一された触覚トークンを出力します。その結果、触覚手袋を着用した人や遠隔操作による器用な手によって収集されたデータを一緒にトレーニングするために使用することができ、さまざまなアクション モデルがトレーニング済みモデルを直接呼び出して接触特徴を抽出することもできます。このアーキテクチャには、新しい触覚センサーにアクセスするために将来拡張する余地も残されています。

(キャプション: LingBot-Touch は、磁気触覚、視覚触覚、およびピエゾ抵抗触覚信号を、さまざまなアクション モデルで使用できる統一触覚トークンにエンコードします)

XHand1 について、チームはハードウェア全体での触覚機能の再利用をさらに検証しました。XHand1 で使用される磁気触覚センサー モデルは事前トレーニング データには含まれておらず、モデルによって学習される磁気触覚エクスペリエンスはすべて、手袋を着用している人によって収集されたデータに由来しています。この器用な手に切り替えた後、チームは LingBot-Touch パラメータを変更せず、XHand の操作デモンストレーション トレーニング アクション モデルのみを使用して移行を完了しました。同時に、LingBot-Touch は、こ​​の実機テストでは 4 つの異なるアクション モデルに接続されており、Ant Lingbo の自社開発モデルに拘束されません。これは、特定のハードウェアまたは特定の戦略のための専用モジュールではなく、触覚センサーとアクション モデルの間の普遍的な認識機能を提供します。業界にとって、センサーと器用なハンドのメーカーは、コストとタスクの要件に基づいてハードウェアを選択でき、機械チーム全体が独自のアクション戦略を維持することもできるため、ハードウェアとアルゴリズムの組み合わせが置き換えられるたびに触覚機能を再開発するための繰り返しの投資が削減されます。

認識能力とエンドサイドのコンピューティング能力の両方を考慮するために、Ant Lingbo は 2 つの能力を備えたモデルを提供します。 26 の実機テストはすべて、約 530 万のパラメータを持つ LingBot-Touch-Tiny の軽量バージョンを使用して完了しました。 LingBot-VLA、π0.5、T-Rex にアクセスした後、モデル パラメーターの数は約 0.13% ～ 0.16% しか増加しませんでした。大容量の LingBot-Touch-Small これは、知覚テストがさらに改善される可能性を示しています。事前トレーニング データが 5,000 時間近くに増加しても、モデルはまだ新しいデータから恩恵を受けることができ、触覚の事前トレーニングには継続的な拡張と改善の余地があることを示しています。

ネイティブ性の具現化を貫き、大型モデル全般との連携を進める

Fable 5.2 は、LingBot-Touch と同じ日に発表されました。これは、ある意味、現在の身体化されたインテリジェンス テクノロジー ルートの進化の縮図です。一般的な大型モデルの加速進化がロボットの「頭脳」ルートに及ぼす影響について、Ant Lingbo 社 CEO の Zhu Xing 氏は次のように述べています。物理的操作の一般化という難しい問題は依然として回避できず、それは依然として具体化された基本モデル自体の進歩に依存しています。」

彼の意見では、一般的な大型モデルと具現化された基本モデルは 1+1>2 の相乗関係に近く、前者はタスクと環境の理解と推論を強化し、後者は物理的知覚と閉ループ操作能力を向上させます。両者は相互に突破し、促進し合い、共同して具現化インテリジェンス産業の成熟を加速させます。

「モーダルインプットの質が、アクションアウトプットの質を大きく左右します。言い換えれば、良いインプットがなければ、良いアウトプットは生まれません。」 Zhu Xing氏は、Ant Lingboは具体化されたネイティブルートを堅持し、物理的操作の一般化のための新たな上限を探求し続け、ロボット産業向けにクロス構成のユニバーサルブレインを作成し、統一モデルにおける視覚、深さ、触感、さらには温度などのより多くの物理的モダリティの調整を促進し、商業化を促進しながらコミュニティへのオープンソースを継続すると述べた。

現在、LingBot-Touch の技術レポート、モデル、コードはオープンソースであり、開発者は Hugging Face、GitHub、Magic Community からアクセスしてダウンロードできます。

Leifeng.com Leifeng.com (パブリックアカウント: Leifeng.com)

編集

メールを再送信 メールを変更