Яо Шуньюй появился на Reddit, чтобы в течение двух часов отвечать на вопросы: Самая трудная проблема на тренировках после Хунюаня — это чрезмерное обдумывание

АГИ-Сигнал

2026.11.21 10:53

· Из Пекина

Полный текст 3036 слов.

Конкуренция за большие модели с открытым исходным кодом смещается от результатов списков к реальной репутации среди сообщества разработчиков.

Ранним утром 21 ноября по пекинскому времени Яо Шуньюй, главный научный сотрудник Tencent и руководитель большой модели Hunyuan, и исследователи из команды Hunyuan появились в сообществе r/LocalLLaMA на Reddit и провели двухчасовую АМА (Спроси меня что-нибудь). Впервые команда Hunyuan публично ответила на вопросы сообщества разработчиков. Он получил более 300 сообщений, охватывающих самые разные темы: от выбора архитектуры до оценки безопасности.

Менее месяца назад Hunyuan выпустила одну за другой две модели. 4 ноября Hy4 впервые вошла в число сильнейших в мире моделей с открытым исходным кодом, заняв второе место среди китайских моделей в списке индекса интеллекта стороннего агентства по оценке Artificial Analysis и первое место среди моделей с открытым исходным кодом в списке Agent Arena. Hy4 Flash, выпущенная более чем через неделю, позиционируется как «максимально экономичная модель для повседневной работы», при этом стоимость одной задачи составляет всего одну двадцатую от стоимости Hy4.

Девять месяцев, два релиза

С точки зрения ритма времени:

С момента февральской реконструкции прошло всего девять месяцев.

Разделение труда между Hy4 и Hy4 flash соответствует двум маршрутам. Первый расширяет размер модели и масштаб данных и исследует верхний предел интеллекта, а второй сокращает затраты и делает его доступным для повседневных задач.

В ходе вопросов и ответов команда подтвердила, что масштаб модели Hy следующего поколения «определенно будет значительно расширен». Разработчик поинтересовался тем, что такие компании, как ByteDance и Kimi, продвигают сверхбольшие модели с параметрами 3T или даже 5T, в то время как Hunyuan пока находится на уровне 700B. Ответ команды заключался в том, что Hy3 и Hy4 показали, что меньшие модели с прочной конструкцией часто могут превосходить более крупные модели при меньших затратах и ​​при этом учиться большему.

На другом конце линейки продуктов уже есть Hy4 mini, подтверждено, что 35B-A3B Flash-Lite находится в разработке, рассматриваются меньшие модели изображений с открытым исходным кодом, и есть новые новости о видеомоделях. По мнению команды, что касается визуального понимания на устройстве, модель A3B с примерно 3 миллиардами активированных параметров уже может справиться с задачей понимания снимков экрана и диаграмм, а также проведения умозаключений.

В дорожной карте также есть место для циклического МО и непрерывного обучения. На первый ответ отвечают: «конечно, возможно, следите за обновлениями», а второй активно изучается. Инфраструктура обучения, поддерживающая исследования и разработки, также совершенствуется, а Hyra 3.0 уже находится в стадии разработки.

Компромиссы предшествуют параметрам

Когда их спросили, почему они в конечном итоге выбрали MLA вместо GQA, команда рассказала об истории неоднократных компромиссов. Вычислительная интенсивность MLA значительно выше, чем у GQA. При выполнении спекулятивного декодирования на графическом процессоре вывода узким местом будет вычислительная мощность. Однако при том же размере кэша KV качество модели MLA лучше, чем у GQA. После введения DSA вычислительная интенсивность этапа декодирования снижается, и баланс компромиссов смещается.

Некоторые другие конструкции флэш-памяти Hy4 продолжают использовать тот же набор компромиссов. SWA уменьшает кэш KV до четверти его первоначального размера, а затраты на обслуживание значительно снижаются. В сочетании с функцией выгрузки параметров энграмм 64 байт в память хоста модели с активированными параметрами 12 байт могут бесперебойно работать с конфигурациями объемом более 128 ГБ.

Разработчик перечислил набор сравнений разреженности. Вспышка Hy4 без энграммы имеет общий параметр 156В, активацию 12В и коэффициент активации 7,7%. Qwen3.8-Flash составляет 4,8%, а DSv4.1 — всего 2,9%. Насколько важна более высокая плотность активации для интеллекта? Ответ команды основан на эксперименте с масштабной лестницей: когда количество параметров активации фиксировано, увеличение разреженности может повысить эффективность вычислений. Однако сохранение общих параметров без изменений и простое уменьшение параметров активации существенно ухудшит качество модели, поскольку количество параметров активации существенно определяет вычислительный бюджет.

По мнению команды, слишком разреженная архитектура MoE неудобна для рассуждений и занимает много видеопамяти, но не может полностью использовать вычислительную мощность. При одной и той же пропускной способности можно запускать модели с одинаковыми общими параметрами и большим количеством параметров активации. Что касается конечной стороны, то это другой набор идей. Архитектуру необходимо проектировать более тесно с аппаратным обеспечением графического процессора периферийного устройства.

В ответ на схему квантования нисходящая проекция более чувствительна к квантованию из-за выбросов в значении активации, и ей будет выделено больше битов. Разрядность выбирается на основе чувствительности гессиана. После квантования маршрутизатор будет обучен вместе с QAT для поддержания стабильности, и команда предпочитает полнопараметрический QAT, поскольку качество модели лучше. Этот набор ответов является самой подробной частью проекта во всем разделе вопросов и ответов.

Самое сложное — это думать

Когда его спросили о том, какое поведение труднее всего улучшить на этапе после тренировки, ответ состоял всего из четырех слов: «чрезмерное мышление». Hy4 стремится к верхнему пределу интеллекта, и длинная цепочка мышления — известная проблема. Решение имеет вид продукта с замкнутым циклом, который превращает длинную цепочку мышления Hy4 в экономически эффективную флеш-память Hy4, а затем обеспечивает для последнего более короткую цепочку мышления посредством обучения с подкреплением.

Некоторые разработчики задавали вопросы по поводу написания, говоря, что если бы модель объясняла вещи проще, для них это стало бы важной причиной перехода с Qwen 3.8 Flash Next. Команда ответила, что творческое письмо и читабельность очень важны и улучшаются как ключевые направления, добавив, что «иногда хороший пример более полезен, чем пять абзацев». Они также признались, что обратили внимание на наблюдение о том, что способность писать у больших моделей в целом ухудшилась, и полагают, что это может быть связано с целями обучения. Они надеются, что модели смогут писать «более по-человечески и менее рутинными выражениями».

Что касается того, может ли Hy4 работать автономно и разрабатывать модели следующего поколения, в ответе говорилось, что возможности рекурсивного самосовершенствования еще только начинаются, но для оценки ключевых возможностей было разработано несколько внутренних тестов. Когда членов команды попросили оценить Hy4 по уровням AGI, они дали самооценку 2,5.

Между техническими вопросами перемежаются воспоминания о процессе исследований и разработок. Расширение с Hy3 на Hy4 было названо самым трудным моментом. Эксперимент по абляции данных не оправдал ожиданий, и начало обучения было полным неопределенности. «Я очень нервничал, когда тренировка только началась». Команда вспоминает окончательный результат так: «Ощущение было такое, будто выложили все фишки на стол и действительно выиграли».

Четкое объяснение ограничений также является своего рода открытым исходным кодом.

Чтобы ответственно открыть исходный код, Hunyuan фильтрует данные сетевой безопасности, в основном фокусируясь на использовании уязвимостей и наступательных атаках во время обучения, сотрудничает с защитой от отказа в ответе на уровне обучения и проводит оценки красной команды. Некоторые разработчики сомневались, что это ослабит защитников, ограничит обратный инжиниринг и повредит анализу вредоносного ПО и криминалистике. Вывод оценки, сделанный командой, заключается в том, что Hy4 обладает сильными возможностями обнаружения уязвимостей, но относительно слабыми возможностями эксплуатации уязвимостей. Чрезмерное неприятие все еще признается важным направлением для улучшения.

Адаптация llama.cpp находится в стадии разработки и скоро будет представлена ​​сообществу. Сотрудничество с vllm и sgl также является углубленным. Hy4 и Hy4 flash широко используются в OpenCode, Claude Code и Cline. Ответ зависит от проекта и названия инструмента. В ходе вопросов и ответов разработчики также упомянули о реальном тестировании. Hy4 Flash стала первой моделью, получившей высшие оценки по тестам внутреннего агентского программирования и PR-проверок, а скорость завершения была выше, чем у Qwen 3.8 Flash Next, GLM 5.3 Flash и DeepSeek V4.1 Flash.

Что касается того, почему не объявляются результаты общих тестов, таких как GPQA Diamond и SWE Bench, команда объясняет это тем, что эти тесты были запущены раньше, и баллы были насыщены. Они показывают более новые и более сложные тесты, такие как Agents’ Last Exam и ProgramBench. Принцип достоверности оценки превратился из внутреннего убеждения в внешнюю позицию.

В более чем 300 комментариях разработчиков не только беспокоят текущие результаты, но и неоднократно спрашивают о реальной производительности задач, затратах на использование и экологической адаптации. Конкурентное измерение модели с открытым исходным кодом шире, чем показано в списке. Приоритет, представленный командой Hunyuan за два часа, заключался в том, чтобы сначала заложить прочный фундамент, сделать модель более пригодной для использования в реальных задачах, а затем продолжить исследование границ возможностей.

Вопросы без ответов, чрезмерное обдумывание, творческое письмо и рекурсивное самосовершенствование, которые признаются не понаслышке, формируют дорожную карту для следующей итерации. Девять месяцев назад Hunyuan восстановила свою инфраструктуру предварительного обучения и обучения с подкреплением. Девять месяцев спустя две модели и двухчасовая встреча вопросов и ответов стали постановочными результатами реконструкции. Сначала заложите фундамент, а затем исследуйте границы.

Остальное оставьте для следующей версии. (Эта статья была впервые опубликована в приложении Titanium Media, автор|AGI-Signal, редактор|Цинь Цунхуэй)

Уважение к оригинальной работе, если вы квалифицированы, вас следует ценить.

В соответствии с требованиями Закона о кибербезопасности в отношении настоящего имени, пожалуйста, привяжите свой номер мобильного телефона, прежде чем оставлять комментарий.

Выражать

11:05

Американский грузовой космический корабль Dragon отрывается от космической станции и отправляется обратно на Землю

10:31

Посланник президента США обсудил посредническую работу США и Ирана с высокопоставленными чиновниками Катара

10:30

Квантовый компьютер «высокоскоростная память» впервые в мире реализован на реальной машине

10:27

Агентство: Спрос снизился, а цены на телевизоры, мониторы и панели для ноутбуков в ноябре могут остаться на прежнем уровне.

10:25

Минг-Чи Куо: Ожидается, что Google скорректирует долю поставок серий TPU 8t и 8i в 2027 году

10:22

Поэтапная корректировка не изменила ситуацию, и многие учреждения с оптимизмом смотрят на оценку и устойчивость акций класса А.

10:21

В Интернете сообщается, что багажник Leipao A10 раздавило несколько коробок пива. Леапао ответил.

10:19

Международные цены на золото продолжают снижаться

10:16

Представитель Федеральной резервной системы Полсон: поддерживает разумное повышение процентных ставок и может продолжать повышать процентные ставки, если это необходимо

10:15

Если продажа SoftBank не может быть завершена, сообщается, что ABB рассматривает возможность выделения своего бизнеса в области робототехники.

10:12

Антропное IPO получило примерно от 115 до 120 миллиардов долларов США в виде подписки со стороны розничных инвесторов.

10:10

Цены на золотые украшения продолжают падать: стоимость Лао Фэнсян за один день упала на 34 юаня.

Компания по доставке еды Wonder рассматривает возможность продажи Grubhub

10:09

Сообщается, что Databricks ведет переговоры о новом раунде финансирования, оценка которого, как ожидается, достигнет 225 миллиардов долларов США.

10:08

Сообщается, что CrowdStrike ведет переговоры о приобретении компании по кибербезопасности Zscaler

10:06

Apollo и Goldman Sachs завершают оценку финансирования GPU SpaceX на сумму 44 миллиарда долларов

Инвестор «большой короткой позиции» Майкл Берри сокращает долю пут-опционов Nvidia, фиксируя некоторую прибыль

10:04

Розничные продажи Grand Theft Auto 6 в первый день достигли $3,79 млрд, установив рекорд индустрии развлечений.

09:59

Министр иностранных дел Ирана: «Двухдневный план» все еще находится на столе и готов обсудить его с Соединенными Штатами

09:53

Трамп: встреча президентов Китая, России и США «беспрецедентна» и «имеет большое значение»

Сканируйте, чтобы загрузить приложение