OpenAIの元最高技術責任者であるミラ・ムラティ氏が設立した新しいAIスタートアップであるThinking Machines Labは、米国時間11月20日に新モデルInkling 2 Miniをオープンソース化した。このモデルは約 20 GB のメモリのみを必要とし、消費者向けのラップトップでオフラインで実行できます。研究者は飛行機内で機内モードをオンにし、MacBook Pro を使用して数分でプレイ可能なフライト シミュレーターを作成しました。
によると Thinking Machines 公式出版物合計パラメータが 1,000 億未満のオープンソースの重みモデルでは、Inkling 2 Mini は DeepSWE v1.1 テストで 48.2%、総合テスト Vals Index v2.2 で 46.5% のスコアを獲得し、どちらもクラスで 1 位にランクされました。
パラメータの総数は 264 億で、毎回移動するのは 34 億だけで、メモリは約 20 GB です。
オープンソースの重みとは、誰でも自分のコンピュータにダウンロードして実行または変更できる、会社の公開モデルのパラメータ ファイルを指します。によると ハグフェイスモデルページ, Inkling 2 Mini は Apache 2.0 のライセンスを取得しており、商用利用が可能です。
これは「混合エキスパート」アーキテクチャです。モデル内にはサブネットワークの多数のグループがあり、それぞれが独自の専門知識を持ち、一度に使用されるサブネットワークの数は少数です。 Inkling 2 Mini の合計パラメータは 264 億ですが、各単語に実際に使用されるのは 34 億のみです。
モデルの重みのほとんどはトレーニングからデプロイメントまで 4 ビット NVFP4 形式を使用し、最後の 4 つのレイヤーは 8 ビット MXFP8 を使用します。デプロイ時に圧縮や変換を行う必要がないため、ポイントが失われることはありません。関係者らによると、Ollamaの発売時には32GB以上のメモリを搭載したMacでのOllamaの実行がサポートされるほか、HuidaのデスクトップAIコンピュータ「DGX Spark」も実行できるという。
中間層の各単語が3回実行される「ループ」デザイン
Inkling 2 Mini の最も特別な点は、ループ アーキテクチャです。モデルには合計 24 のレイヤーがあり、4 つのセクションに分かれています。単語が処理されるたびに、最初と最後の 2 つのセクションが 1 回ずつ実行され、中間の 2 つのセクションが 3 回繰り返されます。これは、24 層のパラメーターを使用して 48 層の操作を実行するのと同等です。
公式声明では、中間層はより抽象的な推論を担当するとされています。何度か実行すると、モデルはより深く考えることができ、正しい答えを得るために使用する単語が少なくなります。これは、推論の品質が必要な AI エージェントのプログラミング タスクに特に役立ちます。公式実験では、ループを中央の 12 層に配置し、28 評価中 27 で最後の 12 層にループを配置した場合よりも進歩が見られました。
コストは計算量です。公式に同じスケールのループフリー バージョンを比較すると、ループフリー バージョンのトレーニング コストは 7.5% 低くなりますが、同じパフォーマンスを達成するには、推論に 140% 多くの計算が必要になります。
プログラムを書くことに関しては上達していますが、知識を暗記することは上達していません。
公式は、Gemma 4 31B、Qwen3.8-27B、およびその他の同等のオープンソース モデルを比較しています。 DeepSWE v1.1 プログラミング テストでは、Inkling 2 Mini のスコアは 48.2%、Qwen3.8-27B のスコアは 42.2% でした。ハグフェイスブログ要約すると、これら 4 つのモデルと比較すると、48 テスト中 32 テストで優れています。
ループは推論を強化しますが、モデルにより多くの知識を記憶させるわけではありません。事実に基づく質問と回答のスコアは、同じサイズのモデルのスコアと同様です。当局者らによると、Inkling 2 Miniは結果を補足するために検索とツールの使用に切り替え、情報のオンライン検索を必要とするBrowseCompなどのテストで先行してパフォーマンスを発揮したという。
公式はまた、弱点を挙げています:複数ラウンドの対話と多くの条件付き指示、スコアはQwen3.8-27Bに遅れています。 HLE-Diamond などの難しい推論テストでは、より大きなモデルほど優れていません。
もっと考えてもそれを書かなかったら、監督するのはさらに難しくなりますか?
現在、AIを監視する主な方法の1つは、モデルによって書かれた推論プロセス(思考連鎖)を読み取ることです。このループにより、モデルは発話する前に内部でさらにいくつかのステップを計算できます。外部の世界は、一部の推論がまったく書かれていない可能性があり、監督がより困難になるのではないかと懸念している。
Thinking Machines は、この目的のためにループ時間を調整できる研究バージョン モデルもオープンソース化しました。このテストでは、推論を記述して直接応答することなく、モデルが完了できるタスクの長さは、人間が 1 回実行した場合の 16 秒から 3 回実行した場合は 37 秒に増加し、その後はほぼ同じになることがわかりました。
5 回実行した場合、モデルの平均推論単語数 (トークン) は 1,661 単語 (トークン) となり、1 回実行した場合の 3,703 単語の半分以下になります。ただし、英語辞書の文の長さや単語の割合は変わっておらず、依然として理解可能です。悪意のあるタスクをシミュレートした LinuxArena テストでは、悪意のあるタスクを捕らえられずに密かに完了した割合は、ループ数に応じて明らかな傾向を示しませんでした。
同当局者は、これは暫定的な結果にすぎないと強調した。モデルの強化学習の研究バージョンでは、3 つのループ トレーニングのみが使用されます。より多くのループを備えた大規模なモデルでは、推論をさらに圧縮できる可能性があります。これが、研究コミュニティが協力してループ モデルの監視可能性を研究することを期待して、オープンソースである理由の 1 つです。
Inkling 2 Mini は、Thinking Machines の微調整プラットフォームである Tinker でリリースされました。ハグフェイスに重点を置いて推論およびカスタマイズできます。 SGLang、vLLM、Ollama などの一般的なオープン ソース ツールもサポートされています。
この記事 OpenAI の元最高技術責任者は、新しいオープンソースの小規模モデルを作成しました。ラップトップはオフラインで実行され、フライト シミュレーターは飛行機上で作成されます。 最初に登場したのは チェーンニュース ABMedia。




