Yao Shunyu erschien zwei Stunden lang auf Reddit, um Fragen zu beantworten: Das schwierigste Problem im Training nach Hunyuan ist das Überdenken
AGI-Signal
21.11.2026 10:53
· Aus Peking
Volltext 3036 Wörter
Der Wettbewerb um Open-Source-Großmodelle verlagert sich von Listenergebnissen hin zu echtem Ruf in der Entwicklergemeinschaft.
Am frühen Morgen des 21. November, Pekinger Zeit, erschienen Yao Shunyu, Chef-KI-Wissenschaftler bei Tencent und Leiter des Hunyuan-Großmodells, und Forscher des Hunyuan-Teams in der r/LocalLLaMA-Community auf Reddit und führten eine zweistündige AMA (Ask Me Anything) durch. Dies ist das erste Mal, dass das Hunyuan-Team öffentlich Fragen der Entwickler-Community beantwortet. Es sind mehr als 300 Nachrichten eingegangen, die Themen abdecken, die von Architekturentscheidungen bis hin zu Sicherheitsbewertungen reichen.
Vor weniger als einem Monat veröffentlichte Hunyuan zwei Modelle nacheinander. Am 4. November zählte Hy4 zum ersten Mal zu den weltweit stärksten Open-Source-Modellen, belegte den zweiten Platz unter den chinesischen Modellen auf der Intelligenzindexliste der externen Bewertungsagentur Artificial Analysis und den ersten Platz unter den Open-Source-Modellen auf der Agent Arena-Liste. Hy4 Flash, das mehr als eine Woche später veröffentlicht wurde, gilt als „das ultimativ kosteneffiziente Modell für die tägliche Arbeit“, da eine einzelne Aufgabe nur ein Zwanzigstel von Hy4 kostete.
Neun Monate, zwei Veröffentlichungen
Aus Sicht des Zeitrhythmus:
Seit dem Wiederaufbau im Februar sind erst neun Monate vergangen.
Die Arbeitsteilung zwischen Hy4 und Hy4-Flash entspricht zwei Routen. Ersteres erweitert die Modellgröße und den Datenumfang und erkundet die Obergrenze der Intelligenz, während letzteres die Kosten senkt und es für alltägliche Aufgaben erschwinglich macht.
Das Team bestätigte in der Frage-und-Antwort-Runde, dass der Umfang des Hy-Modells der nächsten Generation „definitiv noch deutlich erweitert wird“. Ein Entwickler fragte nach der Tatsache, dass Unternehmen wie ByteDance und Kimi ultragroße Modelle mit 3T- oder sogar 5T-Parametern fördern, während Hunyuan immer noch auf dem 700B-Niveau liegt. Die Antwort des Teams war, dass Hy3 und Hy4 gezeigt haben, dass kleinere, solide gebaute Modelle häufig größere Modelle bei geringeren Kosten übertreffen und dabei mehr lernen können.
Am anderen Ende der Produktlinie steht Hy4 mini bereits auf der Roadmap, die Entwicklung von 35B-A3B Flash-Lite ist bestätigt, kleinere Open-Source-Image-Modelle werden in Betracht gezogen und es gibt neue Neuigkeiten zu Videomodellen. Für das visuelle Verständnis auf dem Gerät ist das Team der Ansicht, dass das A3B-Modell mit etwa 3 Milliarden aktivierten Parametern bereits die Aufgabe übernehmen kann, Screenshots und Diagramme zu verstehen und Schlussfolgerungen zu ziehen.
Auf der Roadmap ist auch Platz für zyklische MoE und kontinuierliches Lernen. Die Antwort auf Ersteres lautet: „Natürlich ist es möglich, bitte bleiben Sie dran“, während Letzteres aktiv untersucht wird. Die Schulungsinfrastruktur zur Unterstützung von Forschung und Entwicklung wird ebenfalls erweitert und Hyra 3.0 befindet sich bereits in der Entwicklung.
Kompromisse gehen Parametern voraus
Auf die Frage, warum sie sich letztendlich für MLA anstelle von GQA entschieden haben, enthüllte das Team eine Geschichte wiederholter Kompromisse. Die Rechenintensität von MLA ist deutlich höher als die von GQA. Bei der spekulativen Dekodierung auf der Inferenz-GPU liegt der Engpass bei der Rechenleistung. Bei gleicher KV-Cache-Größe ist die Modellqualität von MLA jedoch besser als die von GQA. Nach der Einführung von DSA wird die Rechenintensität der Decodierungsstufe reduziert und das Gleichgewicht der Kompromisse verschiebt sich.
Mehrere andere Designs von Hy4-Flash-Speichern weisen dieselben Kompromisse auf. SWA reduziert den KV-Cache auf ein Viertel seiner ursprünglichen Größe und die Servicekosten werden erheblich gesenkt. In Verbindung mit dem Design, 64 B Engram-Parameter in den Hostspeicher auszulagern, können Modelle mit 12 B aktivierten Parametern problemlos mit Konfigurationen über 128 GB ausgeführt werden.
Ein Entwickler hat eine Reihe von Sparsity-Vergleichen aufgelistet. Hy4-Blitz ohne Engramm hat einen Gesamtparameter von 156B, eine Aktivierung von 12B und eine Aktivierungsrate von 7,7 %. Qwen3.8-Flash liegt bei 4,8 % und DSv4.1 bei nur 2,9 %. Wie wichtig ist eine höhere Aktivierungsdichte für die Intelligenz? Die Antwort des Teams basiert auf dem Scale-Ladder-Experiment: Wenn die Anzahl der Aktivierungsparameter festgelegt ist, kann eine zunehmende Sparsity die Recheneffizienz verbessern. Allerdings wird die Modellqualität erheblich beeinträchtigt, wenn die Gesamtparameter unverändert bleiben und die Aktivierungsparameter einfach reduziert werden, da die Menge der Aktivierungsparameter im Wesentlichen das Rechenbudget bestimmt.
Nach Meinung des Teams ist die zu spärliche MoE-Architektur nicht argumentationsfreundlich und beansprucht viel Videospeicher, kann aber die Rechenleistung nicht voll ausnutzen. Bei gleichem Durchsatz ist es möglich, Modelle mit denselben Gesamtparametern und mehr Aktivierungsparametern auszuführen. Was die Endseite betrifft, handelt es sich um eine andere Reihe von Ideen. Die Architektur muss enger auf die GPU-Hardware des Edge-Geräts abgestimmt werden.
Als Antwort auf das Quantisierungsschema ist die Abwärtsprojektion aufgrund von Ausreißern im Aktivierungswert empfindlicher gegenüber der Quantisierung und ihr werden mehr Bits zugewiesen. Die Bitbreite wird basierend auf der Hesse-Empfindlichkeit ausgewählt. Nach der Quantisierung wird der Router zusammen mit QAT trainiert, um die Stabilität aufrechtzuerhalten, und das Team bevorzugt QAT mit vollständigen Parametern, da die Modellqualität besser ist. Diese Antworten sind der ausführlichste Teil des Projekts in der gesamten Frage-und-Antwort-Runde.
Das Schwierigste ist, zu viel nachzudenken
Auf die Frage nach dem am schwierigsten zu verbessernden Verhalten in der Phase nach dem Training bestand die Antwort nur aus vier Worten: Überdenken. Hy4 verfolgt die Obergrenze der Intelligenz und die lange Denkkette ist ein bekanntes Problem. Die Lösung hat die Farbe eines Closed-Loop-Produkts, das die lange Denkkette von Hy4 in den kostengünstigen Hy4-Flash destilliert und dann durch verstärkendes Lernen eine kürzere Denkkette für letzteren sicherstellt.
Einige Entwickler stellten aus Gründen des Schreibens Fragen und sagten, dass es für sie ein wichtiger Grund wäre, von Qwen 3.8 Flash Next zu wechseln, wenn ein Modell die Dinge einfacher erklären würde. Das Team antwortete, dass kreatives Schreiben und Lesbarkeit sehr wichtig seien und als Schlüsselrichtungen verbessert würden, und fügte hinzu, dass „manchmal ein gutes Beispiel hilfreicher ist als fünf Absätze.“ Sie gaben auch zu, auf die Beobachtung geachtet zu haben, dass sich die Schreibfähigkeit großer Modelle allgemein verschlechtert hat, und glaubten, dass dies möglicherweise mit den Trainingszielen zusammenhängt. Sie hoffen, dass die Modelle „mehr wie Menschen und weniger routinemäßige Ausdrücke“ schreiben können.
Zur Frage, ob Hy4 autonom arbeiten und Modelle der nächsten Generation entwickeln kann, heißt es in der Antwort, dass die rekursiven Selbstverbesserungsfähigkeiten noch in den Kinderschuhen stecken, es wurden jedoch mehrere interne Benchmarks entwickelt, um die Schlüsselfähigkeiten zu bewerten. Als die Teammitglieder gebeten wurden, Hy4 gemäß der AGI-Stufe einzustufen, gaben sie eine Selbsteinschätzung von 2,5.
Zwischen technischen Themen sind Erinnerungen an den Forschungs- und Entwicklungsprozess eingestreut. Als schwierigster Moment wurde die Erweiterung von Hy3 auf Hy4 beschrieben. Das Datenablationsexperiment entsprach nicht den Erwartungen und der Beginn des Trainings war voller Unsicherheit. „Ich war ziemlich nervös, als das Training gerade begann.“ Das Team erinnert sich an das Endergebnis: „Es fühlte sich an, als würde man alle Chips auf den Tisch legen und tatsächlich gewinnen.“
Die Einschränkungen klar zu erklären, ist auch eine Art Open Source
Um verantwortungsvoll Open Source zu betreiben, filtert Hunyuan Netzwerksicherheitsdaten, die sich während des Trainings hauptsächlich auf die Ausnutzung von Schwachstellen und offensive Angriffe konzentrieren, kooperiert mit dem Denial-of-Response-Schutz auf Trainingsebene und führt Red-Team-Bewertungen durch. Einige Entwickler bezweifelten, dass dies die Verteidiger schwächen, das Reverse Engineering einschränken und die Malware-Analyse und -Forensik beeinträchtigen würde. Die Bewertungsschlussfolgerung des Teams lautet, dass Hy4 über starke Fähigkeiten zur Schwachstellenerkennung, aber relativ schwache Fähigkeiten zur Schwachstellenausnutzung verfügt. Übermäßige Ablehnung gilt nach wie vor als wichtige Verbesserungsrichtung.
Die Anpassung von llama.cpp ist in Arbeit und wird in Kürze für die Community freigegeben. Auch die Zusammenarbeit mit vllm und sgl ist intensiv. Hy4 und Hy4 Flash werden häufig in OpenCode, Claude Code und Cline verwendet. Die Antwort ist spezifisch für den Projekt- und Werkzeugnamen. Während der Frage-und-Antwort-Runde warfen die Entwickler auch tatsächliche Tests ein. Hy4 Flash war das erste Modell mit perfekten Ergebnissen bei den Benchmarks zur internen Agentenprogrammierung und PR-Überprüfung, und die Abschlussgeschwindigkeit war schneller als bei Qwen 3.8 Flash Next, GLM 5.3 Flash und DeepSeek V4.1 Flash.
Warum die Ergebnisse gängiger Benchmarks wie GPQA Diamond und SWE Bench nicht bekannt gegeben werden, erklärt das Team damit, dass diese Benchmarks früher eingeführt wurden und die Ergebnisse gesättigt waren. Was sie zeigen, sind neuere und schwierigere Benchmarks wie Agents’ Last Exam und ProgramBench. Das Prinzip der Authentizitätsbewertung hat sich von einem internen Glaubensbekenntnis zu einer externen Haltung gewandelt.
In mehr als 300 Kommentaren geht es Entwicklern nicht nur um laufende Ergebnisse, sondern werden auch immer wieder nach der tatsächlichen Aufgabenleistung, den Nutzungskosten und der ökologischen Anpassung gefragt. Die Wettbewerbsdimension des Open-Source-Modells ist umfassender als die Liste zeigt. Die Priorität, die das Hunyuan-Team in zwei Stunden vorstellte, bestand darin, zunächst eine solide Grundlage zu schaffen, das Modell für reale Aufgaben nutzbarer zu machen und dann die Grenzen der Fähigkeiten weiter zu erkunden.
Die unbeantworteten Fragen, das Überdenken, das kreative Schreiben und die rekursive Selbstverbesserung, die aus erster Hand anerkannt werden, bilden den Fahrplan für die nächste Iteration. Vor neun Monaten hat Hunyuan seine Infrastruktur für Vorschulung und Verstärkungslernen neu aufgebaut. Neun Monate später bildeten zwei Modelle und eine zweistündige Frage-und-Antwort-Runde die inszenierten Ergebnisse nach der Rekonstruktion. Legen Sie zuerst den Grundstein und erkunden Sie dann die Grenzen.
Überlassen Sie den Rest der nächsten Version. (Dieser Artikel wurde zuerst auf Titanium Media APP veröffentlicht, Autor|AGI-Signal, Herausgeber|Qin Conghui)
Respekt vor der Originalarbeit, wenn Sie qualifiziert sind, sollten Sie geschätzt werden.
Gemäß der Anforderung des Cybersicherheitsgesetzes, Ihren echten Namen anzugeben, verknüpfen Sie bitte Ihre Mobiltelefonnummer, bevor Sie einen Kommentar veröffentlichen.
Äußern
11:05
Das US-Frachtraumschiff Dragon löst sich von der Raumstation und macht sich auf den Weg zur Rückkehr zur Erde
10:31
Der Gesandte des US-Präsidenten bespricht die Vermittlungsarbeit zwischen den USA und dem Iran mit hochrangigen Beamten aus Katar
10:30
Der „Hochgeschwindigkeitsspeicher“ eines Quantencomputers wird zum ersten Mal weltweit auf einer realen Maschine realisiert
10:27
Agentur: Die Nachfrage hat sich abgekühlt und die Preise für Fernseher, Monitore und Laptop-Panels könnten im November auf breiter Front unverändert bleiben.
10:25
Ming-Chi Kuo: Google wird voraussichtlich den Auslieferungsanteil der TPU 8t- und 8i-Serien im Jahr 2027 anpassen
10:22
Die schrittweise Anpassung hat den Hintergrund nicht verändert und viele Institutionen sind optimistisch, was die Bewertung und Widerstandsfähigkeit von A-Aktien angeht.
10:21
Im Internet wird berichtet, dass der Kofferraum des Leipao A10 von mehreren Kisten Bier zerquetscht wurde. Leapao antwortete.
10:19
Die internationalen Goldpreise sinken weiter
10:16
Paulson, Beamter der US-Notenbank: Befürwortet umsichtige Zinserhöhungen und kann die Zinssätze bei Bedarf weiter erhöhen
10:15
Sollte der Verkauf an SoftBank nicht abgeschlossen werden können, erwägt ABB Berichten zufolge die Ausgliederung seines Robotikgeschäfts.
10:12
Der Börsengang von Anthropic verzeichnete eine Zeichnungsnachfrage von Privatanlegern in Höhe von etwa 115 bis 120 Milliarden US-Dollar
10:10
Der Preis für Goldschmuck sinkt weiter, wobei Lao Fengxiang an einem einzigen Tag um 34 Yuan fiel
Der Lebensmittellieferdienst Wonder erwägt den Verkauf von Grubhub
10:09
Berichten zufolge verhandelt Databricks über eine neue Finanzierungsrunde, deren Bewertung voraussichtlich 225 Milliarden US-Dollar erreichen wird
10:08
Berichten zufolge führt CrowdStrike Gespräche zur Übernahme des Cybersicherheitsunternehmens Zscaler
10:06
Apollo und Goldman Sachs schließen die Preisgestaltung für die SpaceX-GPU-Finanzierung in Höhe von 44 Milliarden US-Dollar ab
„Big Short“-Investor Michael Burry reduziert seine Bestände an Nvidia-Put-Optionen und sichert sich so einige Gewinne
10:04
Der Einzelhandelsumsatz von „Grand Theft Auto 6“ erreichte am ersten Tag 3,79 Milliarden US-Dollar und stellte damit einen Rekord in der Unterhaltungsbranche auf
09:59
Irans Außenminister: Der „Zwei-Tage-Plan“ liegt noch auf dem Tisch und man ist bereit, ihn mit den USA zu diskutieren
09:53
Trump: Treffen der Präsidenten Chinas, Russlands und der USA „beispiellos“ und „von großer Bedeutung“
Scannen, um die App herunterzuladen



