Thinking Machines Lab, une nouvelle startup d'IA fondée par Mira Murati, ancienne directrice de la technologie d'OpenAI, a rendu open source son nouveau modèle Inkling 2 Mini le 20 novembre, heure américaine. Ce modèle ne nécessite qu'environ 20 Go de mémoire et peut être exécuté hors ligne sur un ordinateur portable grand public. Le chercheur a activé le mode avion dans l'avion et a utilisé un MacBook Pro pour écrire un simulateur de vol jouable en quelques minutes.

selon Publication officielle de Thinking MachinesDans le modèle de pondération open source avec un paramètre total inférieur à 100 milliards, Inkling 2 Mini a obtenu un score de 48,2 % au test DeepSWE v1.1 et de 46,5 % au test complet Vals Index v2.2, tous deux se classant premiers de sa catégorie.

Le nombre total de paramètres est de 26,4 milliards, seuls 3,4 milliards sont déplacés à chaque fois et la mémoire est d'environ 20 Go.

Les pondérations open source font référence aux fichiers de paramètres du modèle public de l'entreprise, que chacun peut télécharger sur son propre ordinateur pour l'exécuter ou le modifier. selon Page modèle Visage câlin, Inkling 2 Mini est sous licence Apache 2.0 et peut être utilisé commercialement.

Il s'agit d'une architecture « mixte expert » : il existe de nombreux groupes de sous-réseaux dans le modèle, chacun avec sa propre expertise, et seuls quelques-uns d'entre eux sont utilisés à la fois. Le nombre total de paramètres d'Inkling 2 Mini est de 26,4 milliards, mais seulement 3,4 milliards sont réellement utilisés pour chaque mot.

La plupart des poids du modèle utilisent le format NVFP4 4 bits de la formation au déploiement, et les quatre dernières couches utilisent le format MXFP8 8 bits. Il n'est pas nécessaire de compresser et de convertir pendant le déploiement, il n'y aura donc aucune perte de points. Les responsables ont déclaré qu'il prendrait en charge les Mac dotés de 32 Go ou plus de mémoire pour fonctionner via Ollama lors de son lancement, et que l'ordinateur de bureau IA DGX Spark de Huida peut également fonctionner.

La conception en « boucle » dans laquelle chaque mot de la couche intermédiaire est exécuté trois fois

La particularité d'Inkling 2 Mini est l'architecture en boucle. Le modèle comporte un total de 24 couches et est divisé en 4 sections. Chaque fois qu'un mot est traité, les deux première et dernière sections sont exécutées une fois chacune et les deux sections du milieu sont répétées trois fois. Cela équivaut à utiliser 24 couches de paramètres pour effectuer 48 couches d'opérations.

La déclaration officielle est que la couche intermédiaire est responsable d’un raisonnement plus abstrait. L'exécuter plusieurs fois permettra au modèle de réfléchir plus profondément et d'utiliser moins de mots pour obtenir la bonne réponse. Ceci est particulièrement utile pour les tâches de programmation d’agents IA qui nécessitent une qualité de raisonnement. Dans l'expérience officielle, la boucle a été placée dans les 12 couches du milieu, et 27 évaluations sur 28 ont montré plus de progrès que le placement de la boucle dans les 12 dernières couches.

Le coût est la quantité de calcul. En comparant officiellement la version sans boucle de la même échelle, le coût de formation de la version sans boucle est inférieur de 7,5 %, mais pour obtenir les mêmes performances, l'inférence nécessite 140 % de calculs en plus.

Je suis en avance dans l'écriture de programmes, mais je ne m'améliore pas dans la mémorisation des connaissances.

Le responsable compare le Gemma 4 31B, le Qwen3.8-27B et d'autres modèles open source équivalents. Dans le test de programmation DeepSWE v1.1, Inkling 2 Mini a obtenu un score de 48,2 % et Qwen3.8-27B un score de 42,2 % ;Blog visage câlinEn résumé, comparé à ces 4 modèles, il arrive en tête dans 32 tests sur 48.

Les boucles peuvent améliorer le raisonnement, mais elles ne permettent pas au modèle de mémoriser davantage de connaissances. Les scores pour les questions et réponses factuelles sont similaires à ceux des modèles de même taille. Les responsables ont déclaré qu'Inkling 2 Mini avait opté pour l'utilisation de la recherche et d'outils pour compléter les résultats, et qu'il avait progressé dans des tests tels que BrowseComp qui nécessitent une recherche d'informations en ligne.

L'officiel énumère également des faiblesses : plusieurs tours de dialogue et de nombreuses instructions conditionnelles, le score est en retard par rapport à Qwen3.8-27B ; dans les tests de raisonnement difficiles tels que HLE-Diamond, il n'est pas aussi performant que les modèles plus grands.

Si vous réfléchissez davantage mais ne l’écrivez pas, sera-ce plus difficile à superviser ?

L’un des principaux moyens de superviser l’IA est désormais de lire le processus de raisonnement (chaîne de pensée) écrit par le modèle. La boucle permet au modèle de calculer quelques étapes supplémentaires en interne avant de parler. Le monde extérieur craint que certains raisonnements ne soient pas écrits du tout, ce qui rendrait la supervision plus difficile.

Thinking Machines a également ouvert un modèle de version de recherche avec des temps de boucle réglables à cet effet. Le test montre que sans écrire d'inférences et sans répondre directement, la durée de la tâche que le modèle peut accomplir passe de 16 secondes de travail humain lorsqu'il est exécuté une fois à 37 secondes lorsqu'il est exécuté trois fois, et c'est ensuite à peu près la même chose.

Lors d'une exécution cinq fois, le nombre moyen de mots d'inférence du modèle est de 1 661 mots (jetons), soit moins de la moitié des 3 703 mots lors d'une exécution unique. Cependant, la longueur des phrases et la proportion de mots dans le dictionnaire anglais n'ont pas changé et cela reste compréhensible. Dans le test LinuxArena qui simulait des tâches malveillantes, la proportion de tâches malveillantes accomplies en secret sans être détectées ne montrait pas de tendance évidente en termes de nombre de boucles.

Le responsable a souligné qu'il ne s'agit là que d'un résultat préliminaire. La version de recherche de l'apprentissage par renforcement du modèle utilise uniquement trois formations en boucle. Un modèle plus grand avec plus de boucles peut être capable de compresser encore plus le raisonnement. C'est l'une des raisons pour lesquelles ils sont open source, en espérant que la communauté des chercheurs travaillera ensemble pour étudier la supervisabilité du modèle de boucle.

Inkling 2 Mini a été lancé sur Tinker, la plateforme de réglage fin de Thinking Machines. Il peut être déduit et personnalisé, en mettant pleinement l'accent sur Hugging Face. Les outils open source courants tels que SGLang, vLLM et Ollama sont également pris en charge.

cet article L'ancien directeur technique d'OpenAI a créé un nouveau petit modèle open source : l'ordinateur portable fonctionne hors ligne et un simulateur de vol est écrit sur l'avion. est apparu pour la première fois dans Chaîne d'actualités ABMedia。