Yao Shunyu apareció en Reddit para responder preguntas durante dos horas: el problema más difícil en el entrenamiento después de Hunyuan es pensar demasiado
Señal AGI
2026.11.21 10:53
· Desde Pekín
Texto completo 3036 palabras
La competencia por los grandes modelos de código abierto está pasando de los resultados de la lista a la reputación real entre la comunidad de desarrolladores.
Temprano en la mañana del 21 de noviembre, hora de Beijing, Yao Shunyu, científico jefe de inteligencia artificial de Tencent y jefe del gran modelo de Hunyuan, e investigadores del equipo de Hunyuan aparecieron en la comunidad r/LocalLLaMA en Reddit y llevaron a cabo un AMA (Ask Me Anything) de dos horas. Esta es la primera vez que el equipo de Hunyuan responde públicamente preguntas de la comunidad de desarrolladores. Ha recibido más de 300 mensajes, que cubren temas que van desde opciones de arquitectura hasta evaluación de seguridad.
Hace menos de un mes, Hunyuan lanzó dos modelos uno tras otro. El 4 de noviembre, Hy4 se ubicó por primera vez entre los modelos de código abierto más sólidos del mundo, ocupó el segundo lugar entre los modelos chinos en la lista de índice de inteligencia de la agencia de evaluación externa Artificial Analysis y ocupó el primer lugar entre los modelos de código abierto en la lista Agent Arena. Hy4 flash, lanzado más de una semana después, se posiciona como "el modelo rentable definitivo para el trabajo diario", y una sola tarea cuesta sólo una vigésima parte de Hy4.
Nueve meses, dos lanzamientos
Desde la perspectiva del ritmo del tiempo:
Sólo han pasado nueve meses desde la reconstrucción en febrero.
La división del trabajo entre Hy4 y Hy4 flash corresponde a dos rutas. El primero amplía el tamaño del modelo y la escala de datos y explora el límite superior de la inteligencia, mientras que el segundo comprime los costos y lo hace asequible para las tareas diarias.
El equipo confirmó en la sesión de preguntas y respuestas que la escala del modelo Hy de próxima generación "definitivamente se ampliará significativamente". Un desarrollador preguntó sobre el hecho de que empresas como ByteDance y Kimi están promocionando modelos de escala ultragrande con parámetros 3T o incluso 5T, mientras que Hunyuan todavía está en el nivel 700B. La respuesta del equipo fue que Hy3 y Hy4 han demostrado que los modelos más pequeños que están sólidamente construidos a menudo pueden superar a los modelos más grandes a costos más bajos y aprender más en el proceso.
En el otro extremo de la línea de productos, Hy4 mini ya está en la hoja de ruta, se confirma que 35B-A3B Flash-Lite está en progreso, se están considerando modelos de imágenes de código abierto más pequeños y hay nuevas noticias sobre modelos de video. Para la comprensión visual en el dispositivo, la opinión del equipo es que el modelo A3B con aproximadamente 3 mil millones de parámetros activados ya puede realizar la tarea de comprender capturas de pantalla y gráficos y realizar inferencias.
También hay un lugar en la hoja de ruta para el MoE cíclico y el aprendizaje continuo. La respuesta a lo primero es "por supuesto que es posible, por favor estad atentos", mientras que lo segundo se está estudiando activamente. También se está repitiendo la infraestructura de formación que respalda la investigación y el desarrollo, y Hyra 3.0 ya está en desarrollo.
Las compensaciones preceden a los parámetros
Cuando se les preguntó por qué finalmente eligieron MLA en lugar de GQA, el equipo reveló un historial de repetidas compensaciones. La intensidad computacional de MLA es significativamente mayor que la de GQA. Al realizar una decodificación especulativa en la GPU de inferencia, el cuello de botella recaerá en la potencia informática. Sin embargo, con el mismo tamaño de caché KV, la calidad del modelo de MLA es mejor que la de GQA. Después de la introducción de DSA, la intensidad computacional de la etapa de decodificación se reduce y la balanza de compensaciones se inclina.
Varios otros diseños de flash Hy4 continúan con el mismo conjunto de compensaciones. SWA reduce la caché KV a una cuarta parte de su tamaño original y los costos de servicio se reducen significativamente. Junto con el diseño de descarga de parámetros de Engram de 64B a la memoria del host, los modelos con parámetros activados de 12B se pueden ejecutar sin problemas con configuraciones superiores a 128 GB.
Un desarrollador enumeró un conjunto de comparaciones de escasez. El flash Hy4 sin Engram tiene un parámetro total de 156B, una activación de 12B y una tasa de activación del 7,7%. Qwen3.8-Flash es del 4,8% y DSv4.1 es tan bajo como el 2,9%. ¿Qué importancia tiene una mayor densidad de activación para la inteligencia? La respuesta del equipo se basa en el experimento de la escalera de escala: cuando la cantidad de parámetros de activación es fija, aumentar la escasez puede mejorar la eficiencia informática. Sin embargo, mantener los parámetros totales sin cambios y simplemente reducir los parámetros de activación dañará significativamente la calidad del modelo, porque la cantidad de parámetros de activación determina esencialmente el presupuesto computacional.
En opinión del equipo, la arquitectura MoE, demasiado escasa, no favorece el razonamiento y ocupa mucha memoria de vídeo, pero no puede utilizar plenamente la potencia informática. Con el mismo rendimiento, es posible ejecutar modelos con los mismos parámetros totales y más parámetros de activación. En cuanto al final, es un conjunto diferente de ideas. La arquitectura debe diseñarse más estrechamente con el hardware GPU del dispositivo perimetral.
En la respuesta al esquema de cuantificación, la proyección descendente es más sensible a la cuantificación debido a valores atípicos en el valor de activación y se le asignarán más bits. El ancho de bits se selecciona en función de la sensibilidad de Hesse. Después de la cuantificación, el enrutador se entrenará junto con QAT para mantener la estabilidad y el equipo prefiere QAT de parámetros completos porque la calidad del modelo es mejor. Este conjunto de respuestas es la parte más detallada del proyecto en todas las preguntas y respuestas.
Lo más difícil es pensar demasiado
Cuando se le preguntó cuál era el comportamiento más difícil de mejorar en la fase post-entrenamiento, la respuesta fue solo cuatro palabras: pensar demasiado. Hy4 persigue el límite superior de la inteligencia y la larga cadena de pensamiento es un problema conocido. La solución tiene el color de un producto de circuito cerrado, que destila la larga cadena de pensamiento de Hy4 en el rentable flash Hy4 y luego garantiza una cadena de pensamiento más corta para este último mediante el aprendizaje por refuerzo.
Algunos desarrolladores hicieron preguntas basándose en la escritura, diciendo que si un modelo explicara las cosas más fácilmente, sería una razón importante para cambiar de Qwen 3.8 Flash Next. El equipo respondió que la escritura creativa y la legibilidad son muy importantes y se están mejorando como direcciones clave, y agregó que "a veces, un buen ejemplo es más útil que cinco párrafos". También admitieron haber prestado atención a la observación de que la capacidad de escritura de los modelos grandes en general se ha deteriorado y creyeron que esto puede estar relacionado con los objetivos del entrenamiento. Esperan que los modelos puedan escribir "más como humanos y con expresiones menos rutinarias".
Con respecto a si Hy4 puede operar de forma autónoma y desarrollar modelos de próxima generación, la respuesta indicó que aún es temprano para las capacidades recursivas de automejora, pero se han desarrollado varios puntos de referencia internos para evaluar las capacidades clave. Cuando se les pidió que clasificaran a Hy4 según los niveles de AGI, los miembros del equipo dieron una autoevaluación de 2,5.
Intercalados entre cuestiones técnicas se encuentran recuerdos del proceso de investigación y desarrollo. La expansión de Hy3 a Hy4 fue descrita como el momento más difícil. El experimento de ablación de datos no cumplió con las expectativas y el comienzo del entrenamiento estuvo lleno de incertidumbre. "Estaba bastante nervioso cuando empezó el entrenamiento". El recuerdo del equipo sobre el resultado final es que "fue como poner todas las fichas sobre la mesa y ganar".
Explicar claramente las restricciones también es una especie de código abierto.
Para abrir el código fuente de manera responsable, Hunyuan filtra datos de seguridad de la red centrados principalmente en la explotación de vulnerabilidades y ataques ofensivos durante el entrenamiento, coopera con la protección de denegación de respuesta a nivel de entrenamiento y realiza evaluaciones del equipo rojo. Algunos desarrolladores cuestionaron que esto debilitaría a los defensores, limitaría la ingeniería inversa y perjudicaría el análisis y la ciencia forense de malware. La conclusión de la evaluación dada por el equipo es que Hy4 tiene fuertes capacidades de descubrimiento de vulnerabilidades pero capacidades de explotación de vulnerabilidades relativamente débiles. Se reconoce que el rechazo excesivo sigue siendo una dirección importante para mejorar.
La adaptación de llama.cpp está en progreso y pronto se lanzará a la comunidad. La cooperación con vllm y sgl también es profunda. Hy4 y Hy4 flash se han utilizado ampliamente en OpenCode, Claude Code y Cline. La respuesta es específica del proyecto y del nombre de la herramienta. Durante la sesión de preguntas y respuestas, los desarrolladores también intervinieron en pruebas reales. Hy4 flash se convirtió en el primer modelo con puntuaciones perfectas en sus puntos de referencia de programación de agentes internos y revisión de relaciones públicas, y la velocidad de finalización fue más rápida que Qwen 3.8 Flash Next, GLM 5.3 Flash y DeepSeek V4.1 Flash.
En cuanto a por qué no se anuncian los resultados de los puntos de referencia comunes como GPQA Diamond y SWE Bench, la explicación del equipo es que estos puntos de referencia se lanzaron antes y las puntuaciones se han saturado. Lo que muestran son puntos de referencia más nuevos y difíciles, como el último examen de los agentes y el ProgramBench. El principio de autenticidad de la evaluación ha pasado de ser un credo interno a una postura externa.
En más de 300 comentarios, los desarrolladores no sólo se preocupan por las puntuaciones de ejecución, sino que también se les pregunta repetidamente sobre el rendimiento real de las tareas, los costos de uso y la adaptación ecológica. La dimensión competitiva del modelo de código abierto es más amplia de lo que muestra la lista. La prioridad presentada por el equipo de Hunyuan en dos horas fue primero sentar una base sólida, hacer que el modelo sea más utilizable en tareas reales y luego continuar explorando los límites de las capacidades.
Las preguntas sin respuesta, el pensamiento excesivo, la escritura creativa y la superación personal recursiva que se reconocen de primera mano forman la hoja de ruta para la próxima iteración. Hace nueve meses, Hunyuan reconstruyó su infraestructura de aprendizaje previo y de refuerzo. Nueve meses después, dos modelos y una sesión de preguntas y respuestas de dos horas constituyeron los resultados escenificados tras la reconstrucción. Primero siente las bases y luego explora los límites.
Deja el resto para la siguiente versión. (Este artículo se publicó por primera vez en la aplicación Titanium Media, autor | AGI-Signal, editor | Qin Conghui)
Respeto por el trabajo original, si estás calificado, debes ser apreciado.
De acuerdo con el requisito de nombre real de la Ley de Ciberseguridad, vincule su número de teléfono móvil antes de publicar un comentario.
Expresar
11:05
La nave espacial de carga estadounidense Dragon se separa de la estación espacial y emprende el regreso a la Tierra
10:31
El enviado presidencial de Estados Unidos analiza el trabajo de mediación entre Estados Unidos e Irán con altos funcionarios de Qatar
10:30
La "memoria de alta velocidad" de una computadora cuántica se implementa en una máquina real por primera vez en el mundo
10:27
Agencia: La demanda se ha enfriado y los precios de televisores, monitores y paneles de portátiles pueden permanecer estables en todos los ámbitos en noviembre.
10:25
Ming-Chi Kuo: Se espera que Google ajuste la proporción de envío de las series TPU 8t y 8i en 2027
10:22
El ajuste gradual no ha cambiado el contexto y muchas instituciones son optimistas sobre la valoración y resistencia de las acciones A.
10:21
Se informa en Internet que el maletero del Leipao A10 fue aplastado por varias cajas de cerveza. Leapao respondió.
10:19
Los precios internacionales del oro continúan cayendo
10:16
Paulson, funcionario de la Reserva Federal: apoya aumentos prudentes de las tasas de interés y puede continuar aumentando las tasas de interés si es necesario
10:15
Si no se puede completar la venta a SoftBank, se informa que ABB está considerando escindir su negocio de robótica.
10:12
La oferta pública inicial de Anthropic recibió aproximadamente entre 115 mil millones y 120 mil millones de dólares en demanda de suscripción por parte de inversores minoristas.
10:10
El precio de las joyas de oro sigue cayendo: Lao Fengxiang cayó 34 yuanes en un solo día.
La empresa de entrega de comida Wonder está considerando vender Grubhub
10:09
Se informa que Databricks está negociando una nueva ronda de financiación, cuya valoración se espera que alcance los 225 mil millones de dólares.
10:08
CrowdStrike estaría en conversaciones para adquirir la empresa de ciberseguridad Zscaler
10:06
Apollo y Goldman Sachs completan el precio de la financiación de GPU SpaceX de 44.000 millones de dólares
El inversor de 'Big Short' Michael Burry reduce las tenencias de opciones de venta de Nvidia, asegurando algunas ganancias
10:04
Las ventas minoristas de "Grand Theft Auto 6" alcanzaron los 3.790 millones de dólares el primer día, estableciendo un récord en la industria del entretenimiento
09:59
Ministro de Asuntos Exteriores de Irán: El "plan de dos días" todavía está sobre la mesa y está dispuesto a discutirlo con Estados Unidos
09:53
Trump: reunión de presidentes China-Rusia-Estados Unidos “sin precedentes” y “de gran importancia”
Escanear para descargar la aplicación



