Tencent Hunyuan le 20 novembreCompte X officielAnnonce du poids du modèle phare open source Hy4. selon Carte modèle visage câlin, cette fois, les versions quantifiées de Hy4 et FP8 Hy4-FP8 et le modèle de base pré-entraîné Hy4 sont publiés. ModelScope et GitCode sont placés simultanément et une carte système contenant une évaluation de sécurité est jointe.
Les paramètres totaux de l'épine dorsale du langage Hy4 sont de 770 B, chaque jeton est activé à 49 B, la longueur du contexte est de 1 million de jetons et il peut comprendre du texte, des images et des vidéos. Tencent a déclaré avoir ouvert le logiciel Aperçu Hy4 Sur cette base, la pré-formation et la post-formation ont été considérablement élargies, des capacités visuelles ont été ajoutées et des progrès significatifs ont été réalisés dans le suivi des instructions, des textes longs, des tâches à long processus et des recherches approfondies.
La taille du paramètre est la même que celle de l'aperçu, avec un encodeur visuel supplémentaire de 1,23 B.
En comparant les deux versions de la carte modèle, Hy4 est la même architecture experte hybride à 78 couches que l'avant-première. La première couche est un réseau dense à action directe. Les 77 couches restantes comptent chacune 256 experts en routage plus 1 expert partagé. Chaque jeton active 8 experts en routage. La différence réside dans l'ajout d'un encodeur visuel de paramètres 1.23B ; le module d'attention utilise une attention clairsemée conçue en référence à DeepSeek et Zhipu GLM, ainsi qu'un projet de modèle DFly2 de paramètre 3.3B intégré pour le décodage spéculatif. Tencent a déclaré qu'il pouvait maintenir fixe le coût de l'inférence de texte long.
Les scores du modèle de base pré-entraîné répertoriés sur la carte modèle, la base Hy4 a obtenu un score de 91,6 dans MMLU et SimpleQA a obtenu un score de 57,2, ce qui est supérieur aux 91,1 et 52,1 de DeepSeek-V4-Pro-Base dans le tableau de Tencent, mais la question du programme MBPP-plus est de 74,0, inférieure aux 79,1 de DeepSeek. Ce sont les propres évaluations de Tencent. Tencent a également noté sur la carte modèle que le modèle de base a été exposé à une grande quantité de données d'instructions synthétiques au milieu de la formation et qu'il n'a parfois pas répondu aux questions selon le format lors du test sur petit échantillon, et que les scores peuvent être faussés.
L'autorisation est passée d'Apache 2.0 aux termes personnalisés de Tencent
La plus grande différence est l'autorisation. L'aperçu Hy4 utilise Apache 2.0. Cette fois, Hy4 utilise la « Tencent Hy License 1.0 » qui est réécrite sur la base d'Apache 2.0.Conditions de licenceLa section 10 ajoute des restrictions commerciales : les entreprises qui utilisent Hy4 pour fournir des API et d'autres services de modèle en tant que service (MaaS) doivent obtenir une autorisation écrite supplémentaire de Tencent tant que leur chiffre d'affaires mondial dépasse 50 millions de dollars sur 12 mois consécutifs, ou que leurs produits comptent plus de 100 millions d'utilisateurs actifs mensuels.
Les conditions stipulent également que ceux qui limitent uniquement les fonctions du modèle aux produits finaux à des fins spécifiques, ou qui transfèrent uniquement des services de modèle tiers, ne sont pas considérés comme du MaaS ; l'usage purement interne, les modèles et les réalisations de l'entreprise ne sont pas cédés à des tiers et ne sont pas soumis à cette restriction. La version à petit prix lancée par Tencent le 16 novembre Flash Hy4, a déclaré à l'époque que les poids seraient également ouverts à l'avenir.
cet article Modèle phare open source Hy4 de Tencent : paramètres 770B, modifications d'autorisation au seuil commercial est apparu pour la première fois dans Chaîne d'actualités ABMedia。




