Tencent Hunyuan el 20 de noviembreCuenta oficial XAnuncio del peso del modelo insignia de código abierto Hy4. de acuerdo a Tarjeta modelo Hugging Face, esta vez se lanzan las versiones cuantificadas de Hy4 y FP8 Hy4-FP8 y el modelo básico preentrenado Hy4 base. ModelScope y GitCode se colocan simultáneamente y se adjunta una tarjeta del sistema que contiene una evaluación de seguridad.

Los parámetros totales de la columna vertebral del lenguaje Hy4 son 770B, cada token está habilitado 49B, la longitud del contexto es 1 millón de tokens y puede comprender texto, imágenes y videos. Tencent dijo que abrió el código fuente Vista previa de Hy4 Sobre esta base, se ha ampliado enormemente la capacitación previa y posterior, se han agregado capacidades visuales y se han logrado avances significativos en el seguimiento de instrucciones, textos extensos, tareas de proceso largo e investigación en profundidad.

El tamaño del parámetro es el mismo que el de la vista previa, con un codificador visual adicional de 1,23 B.

Comparando las dos versiones de la tarjeta modelo, Hy4 tiene la misma arquitectura experta híbrida de 78 capas que la vista previa. La primera capa es una densa red de retroalimentación. Las 77 capas restantes tienen cada una 256 expertos en enrutamiento más 1 experto compartido. Cada token habilita a 8 expertos en enrutamiento. La diferencia radica en la adición de un codificador visual de parámetros de 1,23 B; el módulo de atención utiliza atención escasa diseñada con referencia a DeepSeek y Zhipu GLM, y un modelo borrador DFly2 de parámetros 3.3B incorporado para decodificación especulativa. Tencent dijo que puede mantener fijo el costo de la inferencia de texto largo.

Las puntuaciones del modelo básico previamente entrenado que figuran en la tarjeta del modelo, Hy4 base obtuvieron una puntuación de 91,6 en MMLU y SimpleQA obtuvieron una puntuación de 57,2, que son superiores a las 91,1 y 52,1 de DeepSeek-V4-Pro-Base en la tabla de Tencent, pero la pregunta del programa MBPP-plus es 74,0, inferior a 79,1 de DeepSeek. Estas son las propias valoraciones de Tencent. Tencent también señaló en la tarjeta modelo que el modelo básico estuvo expuesto a una gran cantidad de datos de instrucción sintéticos en medio del entrenamiento y, ocasionalmente, no respondió las preguntas de acuerdo con el formato durante la prueba de muestra pequeña, y los puntajes pueden estar distorsionados.

La autorización cambió de Apache 2.0 a los términos personalizados de Tencent

La mayor diferencia es la autorización. La vista previa de Hy4 usa Apache 2.0. Esta vez Hy4 usa la "Licencia Tencent Hy 1.0", que está reescrita en base a Apache 2.0.Términos de licenciaLa sección 10 añade restricciones comerciales: las empresas que utilizan Hy4 para proporcionar API y otros servicios de modelo como servicio (MaaS) deben obtener una autorización adicional por escrito de Tencent siempre que sus ingresos globales superen los 50 millones de dólares estadounidenses en 12 meses consecutivos, o sus productos tengan más de 100 millones de usuarios activos mensuales.

Los términos también establecen que aquellos que solo limitan las funciones del modelo a productos finales para fines específicos, o que simplemente transfieren servicios modelo de terceros, no se consideran MaaS; El uso puramente interno de la empresa, los modelos y la producción no se proporcionan a terceros y no están sujetos a esta restricción. La versión económica lanzada por Tencent el 16 de noviembre destello hy4, dijo en ese momento que las pesas también se abrirían en el futuro.

Este artículo Modelo insignia de código abierto Hy4 de Tencent: parámetros 770B, cambios de autorización al umbral comercial apareció por primera vez en Cadena de noticias ABMedia。