Tencent Hunyuan am 20. NovemberOffizielles X-KontoBekanntgabe des Gewichts des Open-Source-Flaggschiffmodells Hy4. entsprechend Hugging Face-ModellkarteDiesmal werden die quantifizierten Versionen von Hy4 und FP8 Hy4-FP8 sowie die vorab trainierte Basismodell-Hy4-Basis veröffentlicht. ModelScope und GitCode werden gleichzeitig platziert und eine Systemkarte mit einer Sicherheitsbewertung ist beigefügt.

Die Gesamtparameter des Hy4-Sprach-Backbones betragen 770B, jedes aktivierte Token ist 49B, die Kontextlänge beträgt 1 Million Token und es kann Text, Bilder und Videos verstehen. Tencent sagte, es sei Open Source Hy4-Vorschau Auf dieser Grundlage wurden das Vor- und Nachtraining erheblich erweitert, visuelle Fähigkeiten hinzugefügt und erhebliche Fortschritte bei der Befolgung von Anweisungen, langen Texten, langen Prozessaufgaben und eingehender Recherche erzielt.

Die Parametergröße ist dieselbe wie bei der Vorschau, mit einem zusätzlichen visuellen Encoder von 1,23 B

Beim Vergleich der beiden Versionen der Modellkarte handelt es sich bei Hy4 um dieselbe 78-Schicht-Hybrid-Expertenarchitektur wie bei der Vorschau. Die erste Schicht ist ein dichtes Feed-Forward-Netzwerk. Die verbleibenden 77 Schichten verfügen jeweils über 256 Routing-Experten plus 1 gemeinsamen Experten. Jeder Token ermöglicht 8 Routing-Experten. Der Unterschied liegt in der Hinzufügung eines visuellen Encoders mit 1,23 B Parametern; Das Aufmerksamkeitsmodul verwendet spärliche Aufmerksamkeit, die unter Bezugnahme auf DeepSeek und Zhipu GLM entwickelt wurde, und ein integriertes DFly2-Entwurfsmodell mit 3.3B-Parametern für die spekulative Dekodierung. Tencent sagte, dass es die Kosten für die Langtextinferenz konstant halten könne.

Die auf der Modellkarte aufgeführten vorab trainierten Basismodell-Scores, Hy4 Base erzielten 91,6 in MMLU und SimpleQA 57,2, was höher ist als die 91,1 und 52,1 von DeepSeek-V4-Pro-Base in der Tabelle von Tencent, aber die Programmfrage MBPP-plus ist 74,0, niedriger als DeepSeeks 79,1. Dabei handelt es sich um eigene Bewertungen von Tencent. Tencent stellte auf der Modellkarte außerdem fest, dass das Basismodell während des Trainings einer großen Menge synthetischer Unterrichtsdaten ausgesetzt war und die Fragen während des Tests mit kleinen Stichproben gelegentlich nicht entsprechend dem Format beantwortet wurden, was zu verzerrten Ergebnissen führen kann.

Die Autorisierung wurde von Apache 2.0 auf angepasste Tencent-Bedingungen geändert

Der größte Unterschied besteht in der Autorisierung. Die Hy4-Vorschau verwendet Apache 2.0. Dieses Mal verwendet Hy4 „Tencent Hy License 1.0“, das auf Basis von Apache 2.0 neu geschrieben wurde.LizenzbedingungenAbschnitt 10 fügt kommerzielle Beschränkungen hinzu: Unternehmen, die Hy4 zur Bereitstellung von APIs und anderen Model-as-a-Service (MaaS)-Diensten nutzen, müssen eine zusätzliche schriftliche Genehmigung von Tencent einholen, solange ihr weltweiter Umsatz innerhalb von 12 aufeinanderfolgenden Monaten 50 Millionen US-Dollar übersteigt oder ihre Produkte mehr als 100 Millionen monatlich aktive Nutzer haben.

In den Bedingungen heißt es außerdem, dass solche, die Modellfunktionen nur auf Endprodukte für bestimmte Zwecke beschränken oder die reine Modelldienste Dritter übertragen, nicht als MaaS gelten; Die rein unternehmensinterne Nutzung, Modelle und Ergebnisse werden nicht an Dritte weitergegeben und unterliegen nicht dieser Einschränkung. Die preisgünstige Version, die Tencent am 16. November auf den Markt gebracht hat Hy4-Blitz, sagte damals, dass die Gewichte künftig auch geöffnet werden würden.

dieser Artikel Tencents Open-Source-Flaggschiffmodell Hy4: 770B-Parameter, Autorisierungsänderungen auf kommerzielle Schwelle erschien erstmals in Kettennachrichten ABMedia。