Thinking Machines Lab, uma nova startup de IA fundada por Mira Murati, ex-diretora de tecnologia da OpenAI, abriu o código-fonte de seu novo modelo Inkling 2 Mini em 20 de novembro, horário dos EUA. Este modelo requer apenas cerca de 20 GB de memória e pode ser executado offline em um laptop de consumo. O pesquisador ativou o modo avião no avião e usou um MacBook Pro para escrever um simulador de vôo jogável em poucos minutos.

de acordo com Publicação oficial da Thinking MachinesNo modelo de peso de código aberto com um parâmetro total inferior a 100 bilhões, o Inkling 2 Mini obteve 48,2% no teste DeepSWE v1.1 e 46,5% no teste abrangente Vals Index v2.2, ambos ocupando o primeiro lugar em sua classe.

Os parâmetros totais são 26,4 bilhões, apenas 3,4 bilhões são movidos de cada vez e a memória é de cerca de 20 GB.

Os pesos de código aberto referem-se aos arquivos de parâmetros do modelo público da empresa, que qualquer pessoa pode baixar em seu próprio computador para executar ou modificar. de acordo com Abraçando a página do modelo Face, o Inkling 2 Mini é licenciado pela Apache 2.0 e pode ser usado comercialmente.

É uma arquitetura "especialista mista": há muitos grupos de sub-redes no modelo, cada um com sua própria experiência, e apenas alguns deles são usados ​​por vez. Os parâmetros totais do Inkling 2 Mini são 26,4 bilhões, mas apenas 3,4 bilhões são realmente usados ​​para cada palavra.

A maioria dos pesos do modelo usa o formato NVFP4 de 4 bits desde o treinamento até a implantação, e as últimas quatro camadas usam MXFP8 de 8 bits. Não há necessidade de compactar e converter durante a implantação, portanto não haverá perda de pontos. Autoridades disseram que ele suportará Macs com 32 GB ou mais de memória para rodar através do Ollama quando for lançado, e o computador desktop AI DGX Spark da Huida também pode rodar.

O design de "loop" em que cada palavra na camada intermediária é executada três vezes

A coisa mais especial do Inkling 2 Mini é a arquitetura do loop. O modelo possui um total de 24 camadas e está dividido em 4 seções. Cada vez que uma palavra é processada, a primeira e as duas últimas seções são executadas uma vez cada, e as duas seções do meio são repetidas três vezes. Isto equivale a usar 24 camadas de parâmetros para realizar 48 camadas de operações.

A declaração oficial é que a camada intermediária é responsável pelo raciocínio mais abstrato. Executá-lo várias vezes permitirá que o modelo pense mais profundamente e use menos palavras para obter a resposta correta. Isto é especialmente útil para tarefas de programação de agentes de IA que exigem qualidade de raciocínio. No experimento oficial, o laço foi colocado nas 12 camadas intermediárias, e 27 das 28 avaliações mostraram mais progresso do que colocar o laço nas últimas 12 camadas.

O custo é a quantidade de cálculo. Comparando oficialmente a versão sem loop da mesma escala, o custo de treinamento da versão sem loop é 7,5% menor, mas para atingir o mesmo desempenho, a inferência requer 140% mais cálculos.

Estou à frente na redação de programas, mas não estou melhorando na memorização de conhecimentos.

O oficial compara Gemma 4 31B, Qwen3.8-27B e outros modelos equivalentes de código aberto. No teste de programação DeepSWE v1.1, Inkling 2 Mini obteve pontuação de 48,2% e Qwen3.8-27B obteve pontuação de 42,2%;Abraçando Rosto BlogEm resumo, comparado com estes 4 modelos, lidera em 32 dos 48 testes.

Os loops podem melhorar o raciocínio, mas não fazem o modelo lembrar de mais conhecimento. As pontuações para perguntas e respostas factuais são semelhantes às de modelos do mesmo tamanho. Autoridades disseram que o Inkling 2 Mini passou a usar pesquisas e ferramentas para complementar os resultados e teve um bom desempenho em testes como o BrowseComp, que exigem pesquisa on-line de informações.

O responsável também enumera pontos fracos: múltiplas rondas de diálogo e muitas instruções condicionais, a pontuação fica atrás de Qwen3.8-27B; em testes de raciocínio difíceis como o HLE-Diamond, não é tão bom quanto modelos maiores.

Se você pensar mais, mas não escrever, será mais difícil supervisionar?

Uma das principais formas de supervisionar a IA agora é ler o processo de raciocínio (cadeia de pensamento) escrito pelo modelo. O loop permite que o modelo calcule mais algumas etapas internamente antes de falar. O mundo exterior está preocupado com a possibilidade de algum raciocínio não estar escrito, tornando a supervisão mais difícil.

A Thinking Machines também abriu o código-fonte de um modelo de versão de pesquisa com tempos de loop ajustáveis ​​para essa finalidade. O teste mostra que, sem escrever inferências e responder diretamente, a duração da tarefa que o modelo pode completar aumenta de 16 segundos de trabalho humano quando é executado uma vez para 37 segundos quando é executado três vezes, e então é aproximadamente o mesmo.

Ao executar cinco vezes, o número médio de palavras de inferência do modelo é de 1.661 palavras (tokens), o que é menos da metade das 3.703 palavras ao executar uma vez. No entanto, o comprimento das frases e a proporção das palavras no dicionário de inglês não mudaram e ainda são compreensíveis. No teste LinuxArena que simulou tarefas maliciosas, a proporção de conclusão secreta de tarefas maliciosas sem ser pego não mostrou uma tendência óbvia com o número de loops.

O responsável sublinhou que este é apenas um resultado preliminar. A versão de pesquisa do modelo de aprendizagem por reforço usa apenas três treinamentos de loop. Um modelo maior com mais loops pode comprimir ainda mais o raciocínio. Esta é uma das razões pelas quais são de código aberto, esperando que a comunidade de investigação trabalhe em conjunto para estudar a supervisibilidade do modelo de loop.

Inkling 2 Mini foi lançado no Tinker, a plataforma de ajuste fino da Thinking Machines. Pode ser inferido e customizado, com total ênfase no Hugging Face. Ferramentas comuns de código aberto, como SGLang, vLLM e Ollama, também são suportadas.

este artigo O ex-diretor técnico da OpenAI criou um novo modelo pequeno de código aberto: o laptop funciona offline e um simulador de vôo é escrito no avião. apareceu pela primeira vez em Cadeia de Notícias ABMedia。