Tencent Hunyuan, 20 ноябряОфициальный аккаунт XОбъявляем вес флагманской модели с открытым исходным кодом Hy4. в соответствии с Карточка модели «Обнимающее лицо»на этот раз выпущены количественные версии Hy4 и FP8 Hy4-FP8 и предварительно обученная базовая модель Hy4. ModelScope и GitCode размещаются одновременно и прикрепляется системная карточка с оценкой безопасности.
Общие параметры языковой магистрали Hy4 составляют 770 байт, каждый токен включен 49 байт, длина контекста составляет 1 миллион токенов, он может понимать текст, изображения и видео. Tencent заявила, что открыла исходный код Предварительный просмотр Hy4 На основе этого были значительно расширены предобучение и постобучение, добавлены визуальные возможности, достигнут значительный прогресс в следовании инструкциям, длинным текстам, длительным процессуальным задачам и углубленным исследованиям.
Размер параметра такой же, как и при предварительном просмотре, с дополнительным визуальным кодировщиком 1,23 Б.
Сравнивая две версии модели карты, Hy4 представляет собой ту же 78-слойную гибридную экспертную архитектуру, что и предварительная версия. Первый уровень представляет собой плотную сеть прямой связи. Остальные 77 уровней имеют по 256 экспертов маршрутизации плюс 1 общий эксперт. Каждый токен позволяет использовать 8 экспертов маршрутизации. Разница заключается в добавлении визуального кодировщика параметров 1,23B; Модуль внимания использует разреженное внимание, разработанное со ссылкой на DeepSeek и Zhipu GLM, а также встроенный черновой вариант модели DFly2 с параметром 3.3B для спекулятивного декодирования. Tencent заявила, что может сохранить фиксированную стоимость вывода длинного текста.
Оценки предварительно обученной базовой модели указаны в карточке модели: база Hy4 набрала 91,6 в MMLU, а SimpleQA набрала 57,2, что выше, чем 91,1 и 52,1 у DeepSeek-V4-Pro-Base в таблице Tencent, но программный вопрос MBPP-plus равен 74,0, что ниже, чем у DeepSeek 79,1. Это собственные оценки Tencent. Tencent также отметила на карточке модели, что базовая модель подвергалась воздействию большого количества данных синтетических инструкций в середине обучения и иногда не отвечала на вопросы в соответствии с форматом во время небольшого выборочного теста, поэтому оценки могут быть искажены.
Авторизация изменена с Apache 2.0 на индивидуальные условия Tencent.
Самая большая разница — это авторизация. Предварительная версия Hy4 использует Apache 2.0. На этот раз Hy4 использует «Tencent Hy License 1.0», переписанную на основе Apache 2.0.Условия лицензированияРаздел 10 добавляет коммерческие ограничения: компании, которые используют Hy4 для предоставления API и других услуг модели как услуги (MaaS), должны получить дополнительное письменное разрешение от Tencent, если их глобальный доход превышает 50 миллионов долларов США в течение 12 месяцев подряд или их продукты имеют более 100 миллионов активных пользователей в месяц.
В условиях также говорится, что те модели, которые ограничивают функции модели только конечными продуктами для конкретных целей или просто передают сторонние модельные услуги, не считаются MaaS; исключительно для внутреннего использования, модели и продукция компании не передаются третьим лицам и не подпадают под это ограничение. Недорогая версия, выпущенная Tencent 16 ноября. Hy4 вспышка, сказал тогда, что весы также будут открыты в будущем.
Эта статья Флагманская модель Tencent с открытым исходным кодом Hy4: параметры 770B, авторизация изменена на коммерческий порог впервые появился в Новости сети ABMedia。




