姚順雨現身Reddit答問兩小時:混元後訓練最難的問題,是過度思考
AGI-Signal
2026.11.21 10:53
· 來自北京
全文3036字
開源大模型的競爭,正從榜單成績轉向開發者社群的真實口碑。
北京時間11月21日凌晨,騰訊首席AI科學家、混元大模型負責人姚順雨與混元團隊研究員出現在Reddit的r/LocalLLaMA社區,做了一場兩小時的AMA(Ask Me Anything,隨便問)。這是混元團隊首次在開發者社群公開答問,共收到三百多條留言,話題從架構取捨一路覆蓋到安全評測。
此前不到一個月,混元接連發表兩款模型。 11月4日的Hy4首次躋身全球最強開源模型之列,在第三方評測機構Artificial Analysis的智慧指數榜單上位列中國模型第二,在Agent Arena榜單上居開源模型首位。一週多後發布的Hy4 flash,定位為“日常工作的極致性價比模型”,單任務成本僅為Hy4的二十分之一。
九個月,兩次發布
從時間節奏看:
距離2月的重建,只過了九個月。
Hy4與Hy4 flash的分工,對應兩條路線。前者擴大模型尺寸與資料規模,探索智慧上限,後者壓縮成本,讓日常任務用得起。
團隊在答問中確認,下一代Hy模型的規模「一定會進一步顯著擴大」。有開發者問及字節跳動和Kimi等公司正在推進3T甚至5T參數的超大規模模型,而混元仍在700B級,團隊對此的回復是,Hy3和Hy4已經表明,做得紮實的較小模型,往往可以勝過更大的模型,而且成本更低,過程當中學到的東西也更多。
產品線的另一端,Hy4 mini已經在路線圖上,35B-A3B檔位的Flash-Lite被確認在推進,更小的開源圖像模型在考慮之中,視頻模型也有了新消息。對於端側視覺理解,團隊的判斷是啟動參數約30億的A3B模型,已能承擔理解截圖與圖表並展開推理的任務。
路線圖上還有循環式MoE與持續學習的位置,前者得到的回應是“當然有可能,請持續關注”,後者正在積極研究。支撐研發的訓練基礎設施也在迭代,Hyra 3.0已在開發中。
取捨先於參數
被問到為何最後選擇MLA而非GQA,團隊揭露了一段反覆權衡的歷史。 MLA的運算強度明顯高於GQA,在推理GPU上做推測解碼時,瓶頸會落在算力上。但在相同的KV cache大小下,MLA的模型品質優於GQA。在引入DSA之後,解碼階段的計算強度被降下來,權衡的天平隨之傾斜。
Hy4 flash的另一個設計,延續的是同一套取捨。 SWA將KV cache降至原來的四分之一,服務成本大幅下降。配合把64B Engram參數卸載到主機記憶體的設計,128GB以上配置即可流暢運行啟動參數12B的模型。
有開發者列出一組稀疏度對比,Hy4 flash不含Engram為156B總參數、活化12B,活化比例7.7%。 Qwen3.8-Flash為4.8%,DSv4.1低至2.9%。更高的活化密度對智慧有多重要,團隊的回答建立在規模階梯實驗上:啟動參數量固定時,提升稀疏度能提升計算效率。但保持總參數不變、單純削減激活參數,模型品質會顯著受損,因為激活參數量本質上決定了計算預算。
過於稀疏的MoE架構,在團隊看來對推理並不友好,佔用大量顯存卻無法充分利用算力。相同吞吐量下,完全可以運行總參數相同、啟動參數更多的模型。至於端側,則是另一套思路,架構要與邊緣設備的GPU硬體更緊密地協同設計。
量化方案的回答裡,down投影因激活值存在離群點,對量化更敏感,會被分配更多比特,位寬依據Hessian敏感度選擇。量化後路由器會隨QAT一同訓練以保持穩定,團隊也更傾向全參數QAT,理由是模型品質更好。這組回答,是整場答問里工程細節最密的部分。
最難的是過度思考
被問及後訓練階段最難改善的行為,回覆只有四個字,過度思考。 Hy4追求智能上限,思維鏈過長是已知問題。解法帶著產品閉環的色彩,把Hy4的長思維鏈蒸餾為高性價比的Hy4 flash,再透過強化學習為後者確保較短的思維鏈。
有開發者以寫作為由發問,表示一個模型如果把事情解釋得更易讀,會是自己從Qwen 3.8 Flash Next轉過來的重要理由。團隊回應稱創意寫作與可讀性非常重要,正在作為重點改進方向,還補了一句「有時候,一個好例子比五段文字更有幫助」。對大模型寫作能力普遍退化的觀察,他們同樣承認有所注意,認為可能與訓練目標有關,希望模型寫出來「更像人類,少一些套路化表達」。
對Hy4能否自主運作並發展出下一代模型,回應表示遞歸自我改善能力尚早,但已發展出若干內部基準評估關鍵能力。被要求以Levels of AGI分級為Hy4定位時,團隊成員給予的自評是2.5級。
技術問題之間,穿插研發過程的回憶。從Hy3擴展到Hy4被形容為最困難的時刻,數據消融實驗未達預期,訓練開始時充滿不確定性,「訓練剛開始時,我相當緊張」。最後結果在團隊的回憶裡則是,「感覺就像把籌碼全押上,結果真的贏了」。
把限制說清楚,也是一種開源
為負責任地開源,混元在訓練中過濾了以漏洞利用和進攻攻擊為主的網安數據,配合訓練層面的拒答防護,並進行紅隊評估。有開發者質疑這會削弱防禦方,限制逆向工程也傷及惡意軟體分析與鑑識。團隊給出的評估結論是,Hy4的漏洞發現能力較強,漏洞利用能力相對較弱。過度拒絕則被承認仍是重要的改善方向。
llama.cpp的適配正在推進,不久後會向社區發布。與vllm、sgl的合作也在深入。 Hy4與Hy4 flash已在OpenCode、Claude Code和Cline中被廣泛使用,答覆具體到項目和工具名。答問中途還有開發者插播實測,Hy4 flash在其內部智能體編程與PR審查基準上成為首個滿分模型,完成速度快於Qwen 3.8 Flash Next、GLM 5.3 Flash與DeepSeek V4.1 Flash。
至於為何不公佈GPQA Diamond、SWE Bench等常見基準成績,團隊的解釋是這些基準推出較早,分數已經飽和,他們展示的是Agents’ Last Exam、ProgramBench等更新的高難度基準。評測真實性原則,從內部信條變成了對外表態。
三百多條留言裡,開發者關心的不只是跑分,真實任務表現、使用成本與生態適配被反覆追問。開源模型的競爭維度,比榜單呈現的更寬。混元團隊在兩小時內呈現的優先順序是,先打牢基礎,讓模型在真實任務中更好用,再持續探索能力邊界。
那些被親口承認的未解問題,過度思考、創意寫作、遞歸自我改進,構成了下一次迭代的路線圖。九個月前,混元重建了預訓練與強化學習基礎設施。九個月後,兩款模型與一場兩小時的答問,構成了重建後的階段性成績。先把基礎打牢,再探索邊界。
剩下的,交給下一個版本。 (本文首發鈦媒體APP,作者|AGI-Signal,編者|秦聰慧)
敬原創,有鈦度,得讚賞
根據《網路安全法》實名制要求,請綁定手機號碼後發表評論
快報
11:05
美貨運「龍」太空船脫離太空站啟程返回地球
10:31
美總統特使與卡達高官討論美伊斡旋工作
10:30
量子電腦「高速記憶體」全球首次真機實現
10:27
機構:需求降溫,11月電視、顯示器及筆電面板價格或全面持平
10:25
郭明錤:Google預計將調整TPU 8t與8i系列2027年出貨比重
10:22
階段性調整未改底色,多間機構看好A股估值與韌性
10:21
網傳零跑A10後備廂被幾箱啤酒壓穿,零跑回應
10:19
國際金價延續跌勢
10:16
聯準會官員保爾森:支持審慎升息,必要時可連續升息
10:15
若無法完成軟銀的出售,ABB據悉考慮將機器人業務分拆上市
10:12
Anthropic IPO獲散戶約1,150億至1,200億美元認購需求
10:10
金飾克價繼續下跌,老鳳祥單日跌34元
外送公司Wonder正考慮出售Grubhub
10:09
Databricks據悉洽談新一輪融資,估值可望達到2,250億美元
10:08
CrowdStrike據悉正洽談收購網路安全公司Zscaler
10:06
阿波羅與高盛完成440億美元SpaceX GPU融資定價
「大空頭」投資人麥可‧伯里減持英偉達看跌期權,鎖定部分收益
10:04
《俠盜獵車手6》首日零售額達37.9億美元,創娛樂產業歷史紀錄
09:59
伊朗外長:「兩天計畫」仍擺在桌面上,願與美進行討論
09:53
川普:中俄美元首會晤“史無前例”“意義重大”
掃描下載App



