Thinking Machines Lab, новый стартап в области искусственного интеллекта, основанный Мирой Мурати, бывшим техническим директором OpenAI, 20 ноября по американскому времени открыл исходный код своей новой модели Inkling 2 Mini. Для этой модели требуется всего около 20 ГБ памяти, и ее можно запускать в автономном режиме на ноутбуке потребительского уровня. Исследователь включил режим полета в самолете и с помощью MacBook Pro за несколько минут написал игровой симулятор полета.

в соответствии с Официальное издание «Мыслящих машин»В весовой модели с открытым исходным кодом с общим параметром менее 100 миллиардов Inkling 2 Mini набрал 48,2% в тесте DeepSWE v1.1 и 46,5% в комплексном тесте Vals Index v2.2, оба занимают первые места в своем классе.

Всего параметров 26,4 миллиарда, каждый раз перемещается только 3,4 миллиарда, а памяти около 20Гб.

Веса с открытым исходным кодом относятся к файлам параметров общедоступной модели компании, которые каждый может загрузить на свой компьютер для выполнения или изменения. в соответствии с Страница модели с обнимающим лицом, Inkling 2 Mini имеет лицензию Apache 2.0 и может использоваться в коммерческих целях.

Это «смешанная экспертная» архитектура: в модели много групп подсетей, каждая со своей экспертизой, и одновременно используются лишь несколько из них. Общее количество параметров Inkling 2 Mini составляет 26,4 миллиарда, но реально для каждого слова используется только 3,4 миллиарда.

Большинство весов модели используют 4-битный формат NVFP4 от обучения до развертывания, а последние четыре уровня используют 8-битный MXFP8. Нет необходимости сжимать и конвертировать во время развертывания, поэтому потери очков не будет. Официальные лица заявили, что он будет поддерживать компьютеры Mac с 32 ГБ или более памяти для работы через Ollama при его запуске, а также может работать настольный AI-компьютер Huida DGX Spark.

«Циклический» дизайн, при котором каждое слово в среднем слое повторяется три раза.

Самое особенное в Inkling 2 Mini — это петлевая архитектура. Модель имеет в общей сложности 24 слоя и разделена на 4 секции. Каждый раз при обработке слова первая и последняя две части выполняются по одному разу, а средние две части повторяются три раза. Это эквивалентно использованию 24 уровней параметров для выполнения 48 уровней операций.

Официальное заявление заключается в том, что средний уровень отвечает за более абстрактные рассуждения. Запустив его несколько раз, модель сможет подумать глубже и использовать меньше слов для получения правильного ответа. Это особенно полезно для задач программирования агентов ИИ, требующих качества рассуждений. В официальном эксперименте цикл был помещен в средние 12 слоев, и 27 из 28 оценок показали больший прогресс, чем размещение цикла в последних 12 слоях.

Стоимость — это объем вычислений. Официально сравнивая версию без петель той же шкалы, стоимость обучения версии без петель на 7,5% меньше, но для достижения той же производительности вывод требует на 140% больше вычислений.

В написании программ я впереди, но в запоминании знаний не улучшаюсь.

Официал сравнивает Gemma 4 31B, Qwen3.8-27B и другие аналогичные модели с открытым исходным кодом. В тесте программирования DeepSWE v1.1 Inkling 2 Mini набрал 48,2%, а Qwen3.8-27B — 42,2%;Блог «Обнимающее лицо»Таким образом, по сравнению с этими четырьмя моделями, он лидирует в 32 из 48 тестов.

Циклы могут улучшить рассуждения, но они не заставляют модель запоминать больше знаний. Очки за фактические вопросы и ответы аналогичны оценкам моделей того же размера. Официальные лица заявили, что Inkling 2 Mini перешел на использование поиска и инструментов для дополнения результатов и показал хорошие результаты в таких тестах, как BrowseComp, которые требуют онлайн-поиска информации.

Чиновник также перечисляет слабые места: несколько раундов диалога и множество условных инструкций, оценка отстает от Qwen3.8-27B; в сложных тестах на рассуждение, таких как HLE-Diamond, он не так хорош, как более крупные модели.

Если вы будете больше думать, но не записывать, будет ли сложнее контролировать?

Один из основных способов контролировать ИИ сейчас — это читать процесс рассуждения (мыслительную цепочку), записанный моделью. Цикл позволяет модели просчитать еще несколько шагов, прежде чем говорить. Внешний мир обеспокоен тем, что некоторые рассуждения могут вообще не быть записаны, что затрудняет надзор.

Для этой цели компания Thinking Machines также открыла исходный код исследовательской версии модели с регулируемым временем цикла. Тест показывает, что без написания умозаключений и прямого ответа длина задачи, которую может выполнить модель, увеличивается с 16 секунд работы человека при однократном запуске до 37 секунд при трехкратном запуске, а дальше примерно одинаково.

При пятикратном запуске среднее количество слов вывода модели составляет 1661 слово (токен), что составляет менее половины от 3703 слов при однократном запуске. Однако длина предложения и пропорция слов в английском словаре не изменились, и это по-прежнему понятно. В тесте LinuxArena, имитирующем вредоносные задачи, доля тайно выполнивших вредоносные задачи и не будучи пойманными не показала очевидной тенденции к количеству циклов.

Чиновник подчеркнул, что это лишь предварительный результат. Исследовательская версия обучения с подкреплением использует только три цикла обучения. Более крупная модель с большим количеством циклов может еще больше сжать рассуждения. Это одна из причин, почему они имеют открытый исходный код, в надежде, что исследовательское сообщество будет работать вместе над изучением контролируемости петлевой модели.

Inkling 2 Mini запущен на Tinker, платформе тонкой настройки Thinking Machines. Его можно предполагать и настраивать, уделяя особое внимание Обнимающему Лицу. Также поддерживаются распространенные инструменты с открытым исходным кодом, такие как SGLang, vLLM и Ollama.

Эта статья Бывший технический директор OpenAI создал новую небольшую модель с открытым исходным кодом: ноутбук работает в автономном режиме, а на самолете написан симулятор полета. впервые появился в Новости сети ABMedia。