Yao Shunyu est apparu sur Reddit pour répondre aux questions pendant deux heures : Le problème le plus difficile à l'entraînement après Hunyuan est de trop réfléchir
Signal AGI
2026.11.21 10:53
· De Pékin
Texte intégral 3036 mots
La concurrence pour les grands modèles open source passe des résultats de liste à une véritable réputation au sein de la communauté des développeurs.
Tôt le matin du 21 novembre, heure de Pékin, Yao Shunyu, scientifique en chef de l'IA chez Tencent et responsable du grand modèle Hunyuan, et des chercheurs de l'équipe Hunyuan sont apparus dans la communauté r/LocalLLaMA sur Reddit et ont mené une AMA (Ask Me Anything) de deux heures. C'est la première fois que l'équipe Hunyuan répond publiquement aux questions de la communauté des développeurs. Il a reçu plus de 300 messages, couvrant des sujets allant des choix d'architecture à l'évaluation de la sécurité.
Il y a moins d'un mois, Hunyuan a lancé deux modèles l'un après l'autre. Le 4 novembre, Hy4 s'est classé pour la première fois parmi les modèles open source les plus puissants au monde, se classant deuxième parmi les modèles chinois sur la liste d'indices de renseignement de l'agence d'évaluation tierce Artificial Analysis, et se classant premier parmi les modèles open source sur la liste Agent Arena. Le flash Hy4, sorti plus d'une semaine plus tard, se positionne comme « le modèle rentable par excellence pour le travail quotidien », avec une seule tâche ne coûtant qu'un vingtième du Hy4.
Neuf mois, deux sorties
Du point de vue du rythme temporel :
Neuf mois seulement se sont écoulés depuis la reconstruction en février.
La division du travail entre Hy4 et Hy4 flash correspond à deux itinéraires. Le premier augmente la taille du modèle et l’échelle des données et explore la limite supérieure de l’intelligence, tandis que le second réduit les coûts et le rend abordable pour les tâches quotidiennes.
L'équipe a confirmé lors de la séance de questions-réponses que la taille du modèle Hy de nouvelle génération "sera certainement encore considérablement étendue". Un développeur a posé des questions sur le fait que des sociétés telles que ByteDance et Kimi font la promotion de modèles à très grande échelle avec des paramètres 3T ou même 5T, alors que Hunyuan est toujours au niveau 700B. La réponse de l'équipe a été que Hy3 et Hy4 ont montré que les modèles plus petits et solidement construits peuvent souvent surpasser les modèles plus grands à moindre coût et en apprendre davantage au cours du processus.
À l'autre extrémité de la gamme de produits, Hy4 mini est déjà sur la feuille de route, le 35B-A3B Flash-Lite est confirmé comme étant en cours, des modèles d'images open source plus petits sont à l'étude et il y a de nouvelles nouvelles concernant les modèles vidéo. Pour la compréhension visuelle sur l’appareil, l’équipe estime que le modèle A3B avec environ 3 milliards de paramètres activés peut déjà entreprendre la tâche de comprendre les captures d’écran et les graphiques et de réaliser des inférences.
Il y a également une place pour le MoE cyclique et l’apprentissage continu sur la feuille de route. La réponse à la première est « bien sûr que c’est possible, restez à l’écoute », tandis que la seconde est activement étudiée. L'infrastructure de formation soutenant la recherche et le développement est également en cours de itération, et Hyra 3.0 est déjà en cours de développement.
Les compromis précèdent les paramètres
Lorsqu'on lui a demandé pourquoi elle avait finalement choisi MLA au lieu de GQA, l'équipe a révélé un historique de compromis répétés. L’intensité de calcul de MLA est nettement supérieure à celle de GQA. Lors de l’exécution d’un décodage spéculatif sur le GPU d’inférence, le goulot d’étranglement concernera la puissance de calcul. Cependant, pour la même taille de cache KV, la qualité du modèle de MLA est meilleure que celle de GQA. Après l’introduction du DSA, l’intensité de calcul de l’étape de décodage est réduite et la balance des compromis est inclinée.
Plusieurs autres modèles de flash Hy4 poursuivent le même ensemble de compromis. SWA réduit le cache KV à un quart de sa taille d'origine et les coûts de service sont considérablement réduits. Couplé à la conception du déchargement des paramètres Engram 64B vers la mémoire hôte, les modèles avec 12B de paramètres activés peuvent fonctionner en douceur avec des configurations supérieures à 128 Go.
Un développeur a répertorié un ensemble de comparaisons de parcimonie. Le flash Hy4 sans Engram a un paramètre total de 156B, une activation de 12B et un taux d'activation de 7,7%. Qwen3.8-Flash est de 4,8 % et DSv4.1 est aussi bas que 2,9 %. Quelle est l’importance d’une densité d’activation plus élevée pour l’intelligence ? La réponse de l'équipe est basée sur l'expérience de l'échelle d'échelle : lorsque le nombre de paramètres d'activation est fixe, une parcimonie croissante peut améliorer l'efficacité du calcul. Cependant, garder le total des paramètres inchangés et simplement réduire les paramètres d'activation nuira considérablement à la qualité du modèle, car la quantité de paramètres d'activation détermine essentiellement le budget de calcul.
De l’avis de l’équipe, l’architecture MoE, trop clairsemée, n’est pas favorable au raisonnement et occupe beaucoup de mémoire vidéo, mais ne peut pas utiliser pleinement la puissance de calcul. Avec le même débit, il est possible d'exécuter des modèles avec les mêmes paramètres totaux et plus de paramètres d'activation. Quant à la fin, c’est un ensemble d’idées différent. L'architecture doit être conçue plus étroitement avec le matériel GPU du périphérique Edge.
En réponse au schéma de quantification, la projection vers le bas est plus sensible à la quantification en raison des valeurs aberrantes de la valeur d'activation et se verra attribuer davantage de bits. La largeur de bit est sélectionnée en fonction de la sensibilité hessienne. Après la quantification, le routeur sera entraîné avec QAT pour maintenir la stabilité, et l'équipe préfère QAT avec tous les paramètres car la qualité du modèle est meilleure. Cet ensemble de réponses constitue la partie la plus détaillée du projet dans l'ensemble des questions-réponses.
Le plus dur c'est de trop réfléchir
Lorsqu'on lui a demandé quel était le comportement le plus difficile à améliorer dans la phase post-formation, la réponse était seulement quatre mots : trop réfléchir. Hy4 poursuit la limite supérieure de l'intelligence et la longue chaîne de pensée est un problème connu. La solution a la couleur d'un produit en boucle fermée, distillant la longue chaîne de réflexion de Hy4 dans le flash Hy4 rentable, puis garantissant une chaîne de réflexion plus courte pour ce dernier grâce à l'apprentissage par renforcement.
Certains développeurs ont posé des questions sur la base de l'écriture, affirmant que si un modèle expliquait les choses plus facilement, ce serait une raison importante pour eux de passer de Qwen 3.8 Flash Next. L'équipe a répondu que l'écriture créative et la lisibilité sont très importantes et sont en train d'être améliorées en tant qu'orientations clés, ajoutant que « parfois, un bon exemple est plus utile que cinq paragraphes ». Ils ont également admis avoir prêté attention au constat selon lequel la capacité d'écriture des grands modèles s'est généralement détériorée et ont estimé que cela pouvait être lié aux objectifs de formation. Ils espèrent que les modèles pourront écrire "plus comme des humains et des expressions moins routinières".
Quant à savoir si Hy4 peut fonctionner de manière autonome et développer des modèles de nouvelle génération, la réponse indique qu'il est encore tôt pour les capacités d'auto-amélioration récursive, mais plusieurs références internes ont été développées pour évaluer les capacités clés. Lorsqu'on leur a demandé de classer Hy4 selon les niveaux d'AGI, les membres de l'équipe ont donné une auto-évaluation de 2,5.
Entre les problèmes techniques se trouvent des souvenirs du processus de recherche et de développement. L’expansion de Hy3 à Hy4 a été décrite comme le moment le plus difficile. L'expérience d'ablation des données n'a pas répondu aux attentes et le début de la formation a été plein d'incertitudes. "J'étais assez nerveux au début de l'entraînement." Le souvenir de l'équipe du résultat final est que "c'était comme mettre tous les jetons sur la table et gagner".
Expliquer clairement les restrictions est aussi une sorte d'open source
Afin d'ouvrir les sources de manière responsable, Hunyuan filtre les données de sécurité du réseau principalement axées sur l'exploitation des vulnérabilités et les attaques offensives pendant la formation, coopère avec la protection par déni de réponse au niveau de la formation et effectue des évaluations de l'équipe rouge. Certains développeurs se demandent si cela affaiblirait les défenseurs, limiterait l’ingénierie inverse et nuirait à l’analyse et à l’investigation des logiciels malveillants. La conclusion de l'évaluation donnée par l'équipe est que Hy4 possède de fortes capacités de découverte de vulnérabilités mais des capacités d'exploitation de vulnérabilités relativement faibles. Le rejet excessif est reconnu comme une voie d’amélioration importante.
L'adaptation de llama.cpp est en cours et sera bientôt diffusée auprès de la communauté. La coopération avec vllm et sgl est également approfondie. Hy4 et Hy4 flash ont été largement utilisés dans OpenCode, Claude Code et Cline. La réponse est spécifique au nom du projet et de l’outil. Au cours de la séance de questions-réponses, les développeurs ont également lancé des tests réels. Hy4 Flash est devenu le premier modèle avec des scores parfaits sur ses tests de programmation d'agent interne et d'examen des relations publiques, et la vitesse d'achèvement était plus rapide que Qwen 3.8 Flash Next, GLM 5.3 Flash et DeepSeek V4.1 Flash.
Quant à la raison pour laquelle les résultats de benchmarks communs tels que GPQA Diamond et SWE Bench ne sont pas annoncés, l'explication de l'équipe est que ces benchmarks ont été lancés plus tôt et que les scores ont été saturés. Ce qu’ils montrent, ce sont des références plus récentes et plus difficiles telles que Agents’ Last Exam et ProgramBench. Le principe de l’authenticité de l’évaluation est passé d’un credo interne à une position externe.
Dans plus de 300 commentaires, les développeurs ne s'inquiètent pas seulement des résultats obtenus, mais sont également interrogés à plusieurs reprises sur les performances réelles des tâches, les coûts d'utilisation et l'adaptation écologique. La dimension concurrentielle du modèle open source est plus large que ce que montre la liste. La priorité présentée par l'équipe Hunyuan en deux heures était d'abord de poser des bases solides, de rendre le modèle plus utilisable dans des tâches réelles, puis de continuer à explorer les limites des capacités.
Les questions sans réponse, la réflexion excessive, l'écriture créative et l'amélioration personnelle récursive qui sont reconnues de première main constituent la feuille de route pour la prochaine itération. Il y a neuf mois, Hunyuan a reconstruit son infrastructure de pré-formation et d'apprentissage par renforcement. Neuf mois plus tard, deux modèles et une période de questions-réponses de deux heures ont constitué les résultats mis en scène après la reconstruction. Posez d’abord les bases, puis explorez les limites.
Laissez le reste à la prochaine version. (Cet article a été publié pour la première fois sur Titanium Media APP, auteur|AGI-Signal, éditeur|Qin Conghui)
Respect de l'œuvre originale, si vous êtes qualifié, vous devriez être apprécié.
Conformément à l'exigence de nom réel de la loi sur la cybersécurité, veuillez lier votre numéro de téléphone portable avant de poster un commentaire.
Exprimer
11h05
Le vaisseau cargo américain Dragon s'éloigne de la station spatiale et repart sur Terre
10h31
L'envoyé présidentiel américain discute du travail de médiation entre les États-Unis et l'Iran avec de hauts responsables qatariens
10h30
La « mémoire à grande vitesse » d'un ordinateur quantique est réalisée sur une machine réelle pour la première fois au monde
10h27
Agence : La demande s'est refroidie et les prix des téléviseurs, des moniteurs et des écrans d'ordinateurs portables pourraient rester globalement stables en novembre.
10h25
Ming-Chi Kuo : Google devrait ajuster la proportion d'expédition des séries TPU 8t et 8i en 2027
10h22
L'ajustement progressif n'a pas changé le contexte et de nombreuses institutions sont optimistes quant à la valorisation et à la résilience des actions A.
10h21
Il est rapporté sur Internet que le coffre du Leipao A10 a été écrasé par plusieurs caisses de bière. Leapao a répondu.
10h19
Les prix internationaux de l’or continuent de baisser
10h16
Paulson, responsable de la Réserve fédérale : soutient des hausses prudentes des taux d’intérêt et peut continuer à augmenter les taux d’intérêt si nécessaire
10h15
Si la vente à SoftBank ne peut être finalisée, ABB envisagerait de scinder son activité robotique.
10h12
L'introduction en bourse d'Anthropic a reçu environ 115 à 120 milliards de dollars de demandes de souscription de la part des investisseurs particuliers.
10h10
Le prix des bijoux en or continue de baisser, Lao Fengxiang ayant chuté de 34 yuans en une seule journée.
La société de livraison de nourriture Wonder envisage de vendre Grubhub
10h09
Databricks serait en train de négocier un nouveau cycle de financement, dont la valorisation devrait atteindre 225 milliards de dollars.
10h08
CrowdStrike serait en pourparlers pour acquérir la société de cybersécurité Zscaler
10h06
Apollo et Goldman Sachs achèvent la tarification du financement GPU SpaceX de 44 milliards de dollars
L’investisseur « Big Short » Michael Burry réduit ses avoirs en options de vente Nvidia, verrouillant ainsi certains gains
10h04
Les ventes au détail de "Grand Theft Auto 6" ont atteint 3,79 milliards de dollars dès le premier jour, établissant ainsi un record pour l'industrie du divertissement
09h59
Ministre iranien des Affaires étrangères : le « plan en deux jours » est toujours sur la table et est prêt à en discuter avec les États-Unis
09:53
Trump : la réunion des présidents sino-russe-américains est « sans précédent » et « d’une grande importance »
Scannez pour télécharger l'application



