오픈AI(OpenAI) 최고기술책임자(CTO) 미라 무라티(Mira Murati)가 설립한 신생 AI 스타트업 씽킹머신스랩(Thinking Machines Lab)이 미국 시간으로 11월 20일 새 모델인 잉클링 2 미니(Inkling 2 Mini)를 오픈소스화했다. 이 모델은 약 20GB의 메모리만 필요하며 소비자급 노트북에서 오프라인으로 실행할 수 있습니다. 연구원은 비행기에서 비행기 모드를 켜고 MacBook Pro를 사용하여 몇 분 만에 플레이 가능한 비행 시뮬레이터를 작성했습니다.
~에 따르면 Thinking Machines 공식 출판물총 매개변수가 1000억 미만인 오픈소스 가중치 모델에서 Inkling 2 Mini는 DeepSWE v1.1 테스트에서 48.2%, Vals Index v2.2 종합 테스트에서 46.5%를 기록해 모두 동급 1위를 차지했습니다.
총 매개변수는 264억개로, 매번 34억개만 이동하며, 메모리는 20GB 정도이다.
오픈 소스 가중치는 회사 공개 모델의 매개변수 파일을 말하며 누구나 자신의 컴퓨터에 다운로드하여 실행하거나 수정할 수 있습니다. ~에 따르면 포옹 얼굴 모델 페이지, Inkling 2 Mini는 Apache 2.0에 의해 라이센스가 부여되어 상업적으로 사용할 수 있습니다.
이는 "혼합 전문가" 아키텍처입니다. 모델에는 각각 고유한 전문 지식을 갖춘 많은 하위 네트워크 그룹이 있으며, 한 번에 그 중 소수만 사용됩니다. Inkling 2 Mini의 전체 매개변수는 264억 개이지만 실제로 각 단어에 사용되는 매개변수는 34억 개에 불과합니다.
모델의 가중치 대부분은 학습부터 배포까지 4비트 NVFP4 형식을 사용하고, 마지막 4개 레이어는 8비트 MXFP8을 사용합니다. 배포 시 압축 및 변환이 필요하지 않아 포인트 손실이 없습니다. 관계자들은 Ollama가 출시되면 32GB 이상의 메모리를 갖춘 Mac이 Ollama를 실행할 수 있도록 지원할 것이며 Huida의 DGX Spark 데스크톱 AI 컴퓨터도 실행할 수 있다고 말했습니다.
중간 레이어의 각 단어가 3번 실행되는 "루프" 디자인
Inkling 2 Mini의 가장 특별한 점은 루프 아키텍처입니다. 모델은 총 24개의 레이어로 구성되어 있으며 4개의 섹션으로 나뉩니다. 단어가 처리될 때마다 처음과 마지막 두 섹션이 각각 한 번씩 실행되고, 중간 두 섹션이 세 번 반복됩니다. 이는 24개 레이어의 매개변수를 사용하여 48개 레이어의 작업을 수행하는 것과 같습니다.
공식적인 진술은 중간 계층이 보다 추상적인 추론을 담당한다는 것입니다. 여러 번 실행하면 모델이 더 깊이 생각하고 더 적은 단어를 사용하여 정답을 얻을 수 있습니다. 이는 추론 품질이 필요한 AI 에이전트 프로그래밍 작업에 특히 유용합니다. 공식 실험에서는 중간 12개 레이어에 루프를 배치했는데, 28개 평가 중 27개 평가에서는 마지막 12개 레이어에 루프를 배치한 것보다 더 많은 진전을 보였다.
비용은 계산량입니다. 동일한 규모의 루프 프리 버전을 공식적으로 비교하면 루프 프리 버전의 훈련 비용은 7.5% 적지만, 동일한 성능을 달성하려면 추론에 140% 더 많은 계산이 필요합니다.
나는 프로그램을 작성하는 데는 앞서 있지만 지식을 암기하는 데는 나아지지 않습니다.
공식은 Gemma 4 31B, Qwen3.8-27B 및 기타 동등한 오픈 소스 모델을 비교합니다. DeepSWE v1.1 프로그래밍 테스트에서 Inkling 2 Mini는 48.2%, Qwen3.8-27B는 42.2%를 기록했습니다.포옹하는 얼굴 블로그요약하면, 이 4개 모델과 비교하면 48개 테스트 중 32개에서 앞서 있습니다.
루프는 추론을 향상시킬 수 있지만 모델이 더 많은 지식을 기억하도록 만들지는 않습니다. 사실적 질문과 답변의 점수는 같은 크기의 모델의 점수와 유사합니다. 관계자들은 Inkling 2 Mini가 결과를 보완하기 위해 검색 및 도구를 사용하도록 전환했으며 온라인 정보 검색이 필요한 BrowseComp와 같은 테스트에서 앞서 나가는 성능을 발휘했다고 말했습니다.
관계자는 또한 약점을 나열했습니다. 여러 라운드의 대화와 많은 조건부 지침, 점수가 Qwen3.8-27B보다 뒤떨어져 있습니다. HLE-Diamond와 같은 어려운 추론 테스트에서는 대형 모델만큼 좋지 않습니다.
생각은 많이 하고 글로 쓰지 않으면 감독하기가 더 어려워지나요?
현재 AI를 감독하는 주요 방법 중 하나는 모델이 작성한 추론 프로세스(사고 체인)를 읽는 것입니다. 루프를 사용하면 모델이 말하기 전에 내부적으로 몇 가지 단계를 더 계산할 수 있습니다. 외부에서는 일부 추론이 전혀 작성되지 않아 감독이 더욱 어려워지는 것을 우려하고 있다.
Thinking Machines는 또한 이러한 목적을 위해 조정 가능한 루프 시간을 갖춘 연구 버전 모델을 오픈 소스로 제공했습니다. 테스트 결과, 추론을 작성하고 직접 응답하지 않으면 모델이 완료할 수 있는 작업 시간이 한 번 실행했을 때 인간 작업의 16초에서 세 번 실행했을 때 37초로 증가한 후 거의 동일하다는 것을 보여줍니다.
5회 실행 시 모델의 평균 추론 단어 수는 1,661단어(토큰)로, 1회 실행 시 3,703단어의 절반에도 미치지 못한다. 그러나 영어사전에 나오는 문장의 길이나 단어의 비율은 변함이 없어 여전히 이해할 수 있다. 악성 작업을 시뮬레이션한 LinuxArena 테스트에서는 적발되지 않고 비밀리에 악성 작업을 완료하는 비율이 루프 수와 함께 뚜렷한 추세를 보이지 않았습니다.
관계자는 이는 예비적인 결과일 뿐이라고 강조했다. 모델 강화 학습의 연구 버전은 세 가지 루프 훈련만 사용합니다. 루프가 더 많은 더 큰 모델은 추론을 더 많이 압축할 수 있습니다. 이것이 오픈 소스인 이유 중 하나이며, 연구 커뮤니티가 루프 모델의 감독 가능성을 연구하기 위해 협력하기를 희망합니다.
Inkling 2 Mini가 Thinking Machines의 미세 조정 플랫폼 Tinker에 출시되었습니다. Hugging Face를 최대한 강조하여 추론하고 사용자 정의할 수 있습니다. SGLang, vLLM 및 Ollama와 같은 일반적인 오픈 소스 도구도 지원됩니다.
이 기사 OpenAI의 전 최고 기술 책임자는 새로운 오픈 소스 소형 모델을 만들었습니다. 노트북은 오프라인으로 실행되고 비행 시뮬레이터는 비행기에 작성됩니다. 에 처음 등장 체인 뉴스 ABMedia。




