Thinking Machines Lab, ein neues KI-Startup, das von Mira Murati, ehemaliger Chief Technology Officer von OpenAI, gegründet wurde, hat am 20. November US-amerikanischer Zeit sein neues Modell Inkling 2 Mini als Open Source veröffentlicht. Dieses Modell benötigt nur etwa 20 GB Speicher und kann offline auf einem Laptop der Verbraucherklasse ausgeführt werden. Der Forscher schaltete im Flugzeug den Flugmodus ein und schrieb mit einem MacBook Pro in wenigen Minuten einen spielbaren Flugsimulator.

entsprechend Offizielle Veröffentlichung von Thinking MachinesIm Open-Source-Gewichtsmodell mit einem Gesamtparameter von weniger als 100 Milliarden erzielte Inkling 2 Mini 48,2 % im DeepSWE v1.1-Test und 46,5 % im umfassenden Test Vals Index v2.2, beide belegten den ersten Platz in seiner Klasse.

Die Gesamtparameter betragen 26,4 Milliarden, jedes Mal werden nur 3,4 Milliarden verschoben und der Speicher beträgt etwa 20 GB.

Open-Source-Gewichte beziehen sich auf die Parameterdateien des öffentlichen Modells des Unternehmens, die jeder auf seinen eigenen Computer herunterladen und dort ausführen oder ändern kann. entsprechend Hugging Face-ModellseiteInkling 2 Mini ist von Apache 2.0 lizenziert und kann kommerziell genutzt werden.

Es handelt sich um eine „Mixed-Expert“-Architektur: Das Modell enthält viele Gruppen von Subnetzwerken, von denen jedes über sein eigenes Fachwissen verfügt und von denen jeweils nur wenige gleichzeitig verwendet werden. Die Gesamtparameter von Inkling 2 Mini betragen 26,4 Milliarden, aber nur 3,4 Milliarden werden tatsächlich für jedes Wort verwendet.

Die meisten Gewichte des Modells verwenden vom Training bis zur Bereitstellung das 4-Bit-NVFP4-Format, und die letzten vier Schichten verwenden 8-Bit-MXFP8. Während der Bereitstellung ist keine Komprimierung und Konvertierung erforderlich, sodass kein Punkteverlust entsteht. Beamte sagten, dass es beim Start Macs mit 32 GB oder mehr Speicher unterstützen wird, um über Ollama zu laufen, und dass Huidas DGX Spark-Desktop-KI-Computer ebenfalls laufen kann.

Das „Loop“-Design, bei dem jedes Wort in der mittleren Schicht dreimal durchlaufen wird

Das Besondere an Inkling 2 Mini ist die Loop-Architektur. Das Modell besteht aus insgesamt 24 Schichten und ist in 4 Abschnitte unterteilt. Jedes Mal, wenn ein Wort verarbeitet wird, werden die ersten und letzten beiden Abschnitte jeweils einmal ausgeführt und die beiden mittleren Abschnitte werden dreimal wiederholt. Dies entspricht der Verwendung von 24 Parameterebenen zur Durchführung von 48 Operationsebenen.

Die offizielle Aussage besagt, dass die mittlere Schicht für abstrakteres Denken verantwortlich ist. Durch mehrmaliges Ausführen kann das Modell tiefer nachdenken und weniger Wörter verwenden, um die richtige Antwort zu erhalten. Dies ist besonders hilfreich für Programmieraufgaben von KI-Agenten, die eine logische Argumentation erfordern. Im offiziellen Experiment wurde die Schleife in den mittleren 12 Schichten platziert, und 27 von 28 Bewertungen zeigten einen größeren Fortschritt als die Platzierung der Schleife in den letzten 12 Schichten.

Die Kosten sind der Rechenaufwand. Beim offiziellen Vergleich der schleifenfreien Version derselben Skala sind die Trainingskosten der schleifenfreien Version um 7,5 % geringer, aber um die gleiche Leistung zu erzielen, sind für die Inferenz 140 % mehr Berechnungen erforderlich.

Beim Schreiben von Programmen bin ich vorne, aber beim Auswendiglernen von Wissen werde ich nicht besser.

Der Beamte vergleicht Gemma 4 31B, Qwen3.8-27B und andere gleichwertige Open-Source-Modelle. Im DeepSWE v1.1-Programmiertest erreichte Inkling 2 Mini 48,2 % und Qwen3.8-27B 42,2 %;Hugging Face BlogZusammenfassend liegt es im Vergleich zu diesen 4 Modellen in 32 von 48 Tests vorne.

Schleifen können das Denken verbessern, aber sie sorgen nicht dafür, dass sich das Modell mehr Wissen merkt. Die Werte für sachliche Fragen und Antworten ähneln denen von Modellen gleicher Größe. Beamte sagten, dass Inkling 2 Mini auf die Verwendung von Suchfunktionen und Tools zur Ergänzung der Ergebnisse umgestiegen sei und bei Tests wie BrowseComp, bei denen eine Online-Suche nach Informationen erforderlich sei, die Nase vorn habe.

Der Beamte listet auch Schwächen auf: mehrere Dialogrunden und viele bedingte Anweisungen, die Punktzahl bleibt hinter Qwen3.8-27B zurück; In schwierigen Denktests wie HLE-Diamond schneidet es nicht so gut ab wie größere Modelle.

Wenn Sie mehr nachdenken, es aber nicht aufschreiben, wird es dann schwieriger zu überwachen sein?

Eine der wichtigsten Methoden zur Überwachung der KI besteht heute darin, den vom Modell geschriebenen Argumentationsprozess (Denkkette) zu lesen. Die Schleife ermöglicht es dem Modell, intern noch ein paar Schritte zu berechnen, bevor es spricht. Die Außenwelt befürchtet, dass einige Begründungen möglicherweise überhaupt nicht niedergeschrieben werden, was die Aufsicht erschwert.

Thinking Machines hat zu diesem Zweck auch ein Forschungsversionsmodell mit einstellbaren Schleifenzeiten als Open Source bereitgestellt. Der Test zeigt, dass die Länge der Aufgabe, die das Modell erledigen kann, ohne Schlussfolgerungen zu schreiben und direkt zu antworten, von 16 Sekunden menschlicher Arbeit bei einmaliger Ausführung auf 37 Sekunden bei dreimaliger Ausführung ansteigt und dann ungefähr gleich bleibt.

Bei fünfmaliger Ausführung beträgt die durchschnittliche Anzahl der Inferenzwörter des Modells 1.661 Wörter (Token), was weniger als der Hälfte der 3.703 Wörter bei einmaliger Ausführung entspricht. Die Satzlänge und der Wortanteil im englischen Wörterbuch haben sich jedoch nicht geändert und sind weiterhin verständlich. Im LinuxArena-Test, der bösartige Aufgaben simulierte, zeigte der Anteil der heimlich ausgeführten bösartigen Aufgaben, ohne erwischt zu werden, keinen offensichtlichen Trend in Bezug auf die Anzahl der Schleifen.

Der Beamte betonte, dass es sich lediglich um ein vorläufiges Ergebnis handele. Die Forschungsversion des Reinforcement Learning des Modells verwendet nur drei Schleifentrainings. Ein größeres Modell mit mehr Schleifen kann die Argumentation möglicherweise noch stärker komprimieren. Dies ist einer der Gründe, warum sie Open Source sind, in der Hoffnung, dass die Forschungsgemeinschaft zusammenarbeiten wird, um die Überprüfbarkeit des Schleifenmodells zu untersuchen.

Inkling 2 Mini wurde auf Tinker, der Feinabstimmungsplattform von Thinking Machines, eingeführt. Es kann abgeleitet und angepasst werden, wobei der Schwerpunkt auf Hugging Face liegt. Gängige Open-Source-Tools wie SGLang, vLLM und Ollama werden ebenfalls unterstützt.

dieser Artikel Der ehemalige technische Leiter von OpenAI hat ein neues Open-Source-Kleinmodell entwickelt: Der Laptop läuft offline und ein Flugsimulator ist in das Flugzeug geschrieben. erschien erstmals in Kettennachrichten ABMedia。