姚舜宇はRedditに出演し、2時間にわたって質問に答えた:フンユアンの次にトレーニングで最も難しい問題は考えすぎである
AGI信号
2026.11.21 10:53
・北京から
全文 3036語
オープンソースの大規模モデルをめぐる競争は、リスト上の結果から、開発者コミュニティの間での実際の評判に移りつつあります。
北京時間11月21日の早朝、テンセントのチーフAIサイエンティストであり、Hunyuan大型モデルの責任者であるYao Shunyu氏とHunyuanチームの研究者がRedditのr/LocalLLaMAコミュニティに登場し、2時間のAMA(Ask Me Anything)を実施した。 Hunyuan チームが開発者コミュニティの質問に公に回答したのはこれが初めてです。アーキテクチャの選択からセキュリティ評価に至るまで、幅広いトピックをカバーする 300 件を超えるメッセージを受け取りました。
1か月も経たないうちに、Hunyuanは2つのモデルを相次いでリリースしました。 11月4日、Hy4は初めて世界最強のオープンソースモデルにランクインし、第三者評価機関Artificial Analysisのインテリジェンスインデックスリストでは中国モデルの中で2位にランクされ、エージェントアリーナリストではオープンソースモデルの中で1位にランクされました。 1 週間以上後にリリースされた Hy4 フラッシュは、単一タスクのコストが Hy4 のわずか 20 分の 1 であり、「日常業務向けの究極のコスト効率の高いモデル」と位置付けられています。
9 か月、2 つのリリース
時間のリズムという観点から見ると、
2月の再建からわずか9カ月しか経っていない。
Hy4 と Hy4 フラッシュの分業は 2 つのルートに対応します。前者はモデルのサイズとデータのスケールを拡大し、インテリジェンスの上限を探求します。一方、後者はコストを圧縮し、日常のタスクに手頃な価格を実現します。
チームは質疑応答で、次期Hyモデルの規模が「さらに大幅に拡大されるのは間違いない」と認めた。開発者は、ByteDance や Kim などの企業が 3T、さらには 5T パラメータの超大規模モデルを推進しているのに対し、Hunyuan はまだ 700B レベルにあるという事実について質問しました。チームの返答は、Hy3 と Hy4 は、しっかりと構築された小型モデルは、多くの場合、低コストで大型モデルよりも優れたパフォーマンスを発揮し、その過程でより多くのことを学習できることを示した、というものでした。
製品ラインのもう一方の端では、Hy4 mini がすでにロードマップに載っており、35B-A3B Flash-Lite が進行中であることが確認され、より小型のオープンソース画像モデルが検討されており、ビデオ モデルに関する新しいニュースもあります。デバイス上の視覚的な理解については、約 30 億個のアクティブ化されたパラメーターを備えた A3B モデルが、スクリーンショットとチャートを理解して推論を実行するタスクをすでに実行できる、というのがチームの判断です。
ロードマップには、周期的な MoE と継続的な学習のための場所もあります。前者に対する反応は「もちろん可能です。期待してください」ですが、後者については積極的に研究されています。研究開発をサポートするトレーニング インフラストラクチャも継続的に改良されており、Hyra 3.0 はすでに開発中です。
パラメータよりもトレードオフが優先される
最終的に GQA ではなく MLA を選択した理由を尋ねると、チームは度重なるトレードオフの歴史を明らかにしました。 MLA の計算強度は、GQA の計算強度よりも大幅に高くなります。推論 GPU で投機的デコードを実行する場合、ボトルネックは計算能力にあります。ただし、同じ KV キャッシュ サイズでは、MLA のモデル品質は GQA のモデル品質よりも優れています。 DSA の導入後は、デコード段階の計算量が減少し、トレードオフのバランスが傾きます。
Hy4 フラッシュの他のいくつかの設計では、同じ一連のトレードオフが継続されます。 SWA により、KV キャッシュが元のサイズの 4 分の 1 に削減され、サービス コストが大幅に削減されます。 64B エングラム パラメータをホスト メモリにオフロードする設計と組み合わせることで、12B アクティブ化パラメータを持つモデルは 128GB 以上の構成でスムーズに実行できます。
開発者は一連のスパース性の比較をリストしました。エングラムなしのHy4フラッシュはパラメータ合計156B、発動12B、発動率7.7%。 Qwen3.8-Flash は 4.8%、DSv4.1 は 2.9% と低いです。より高い活性化密度は知能にとってどれほど重要ですか?チームの答えは、スケール ラダー実験に基づいています。つまり、アクティベーション パラメーターの量が固定されている場合、スパース性を高めることでコンピューティング効率を向上させることができます。ただし、合計パラメーターを変更せずに維持し、単にアクティベーション パラメーターを減らすと、モデルの品質が大幅に損なわれます。これは、アクティベーション パラメーターの量が基本的に計算予算を決定するためです。
チームの意見では、疎すぎる MoE アーキテクチャは推論に適さず、多くのビデオ メモリを占有しますが、コンピューティング能力を十分に活用できません。同じスループットの下で、同じ合計パラメーターとより多くのアクティベーション パラメーターを使用してモデルを実行することが可能です。エンド側に関しては、別の考え方です。アーキテクチャは、エッジ デバイスの GPU ハードウェアとより密接に設計する必要があります。
量子化スキームに対する答えでは、ダウン投影はアクティベーション値の外れ値により量子化の影響をより受けやすく、より多くのビットが割り当てられます。ビット幅はヘシアン感度に基づいて選択されます。量子化後、安定性を維持するためにルーターは QAT とともにトレーニングされますが、モデルの品質がより優れているため、チームはフルパラメーター QAT を好みます。この一連の回答は、Q&A 全体の中でプロジェクトの最も詳細な部分です。
一番難しいのは考えすぎることだ
トレーニング後の段階で改善するのが最も難しい行動について尋ねたところ、答えはたったの 4 語でした。「考えすぎ」でした。 Hy4 は知能の上限を追求しており、思考の連鎖が長いことは既知の問題です。このソリューションは閉ループ製品の色を持ち、Hy4 の長い思考チェーンをコスト効率の高い Hy4 フラッシュに抽出し、強化学習を通じて後者のより短い思考チェーンを確保します。
一部の開発者は、モデルで物事をより簡単に説明できれば、Qwen 3.8 Flash Next から切り替える重要な理由になるだろうと、執筆を理由に質問しました。研究チームは、クリエイティブな文章と読みやすさは非常に重要であり、主要な方向性として改善されていると答え、「場合によっては、5 つの段落よりも良い例の方が役に立つことがある」と付け加えた。彼らはまた、大規模なモデルの記述能力が一般的に低下しているという観察に注意を払っていることを認め、それがトレーニングの目的に関連している可能性があると信じていました。彼らは、モデルが「より人間らしく、日常的な表現を減らした」ものを書けるようになることを期待している。
Hy4 が自律的に動作し、次世代モデルを開発できるかどうかについて、回答では、再帰的自己改善機能はまだ初期段階であるが、主要な機能を評価するためにいくつかの内部ベンチマークが開発されていると述べられています。 AGI のレベルに従って Hy4 をランク付けするように求められたとき、チーム メンバーは 2.5 という自己評価を与えました。
技術的な問題の間には、研究開発プロセスの思い出が散りばめられています。 Hy3 から Hy4 への拡張は最も困難な瞬間であると言われました。データアブレーション実験は期待に応えられず、トレーニングの開始は不安に満ちていました。 「練習が始まったばかりの時はとても緊張していました。」最終結果についてチームは「チップをすべてテーブルに置いて実際に勝ったような気分だった」と回想している。
制限事項を分かりやすく説明するのもオープンソースの一種
責任を持ってオープンソースにするために、Hunyuan は、トレーニング中に主に脆弱性の悪用と攻撃的な攻撃に焦点を当てたネットワーク セキュリティ データをフィルタリングし、トレーニング レベルの応答拒否保護に協力し、レッド チームの評価を実施します。一部の開発者は、これによって防御側が弱体化し、リバース エンジニアリングが制限され、マルウェア分析やフォレンジックが損なわれるのではないかと疑問を抱いていました。チームによって与えられた評価結論は、Hy4 は強力な脆弱性発見機能を備えていますが、脆弱性悪用機能は比較的弱いというものです。過度の拒否は依然として改善の重要な方向性として認識されています。
llama.cpp の適応は進行中であり、間もなくコミュニティにリリースされる予定です。 vllmやsglとの連携も充実。 Hy4 と Hy4 フラッシュは、OpenCode、Claude Code、Cline で広く使用されています。答えはプロジェクトとツール名によって異なります。 Q&A 中に、開発者は実際のテストにも介入しました。 Hy4 フラッシュは、内部エージェント プログラミングと PR レビュー ベンチマークで完璧なスコアを獲得した最初のモデルとなり、完了速度は Qwen 3.8 Flash Next、GLM 5.3 Flash、DeepSeek V4.1 Flash よりも高速でした。
GPQA DiamondやSWE Benchなどの共通ベンチマークの結果が公表されていない理由について、チームはこれらのベンチマークが以前に開始されたためスコアが飽和していると説明している。彼らが示すのは、Agents’ Last Exam や ProgramBench など、より新しくてより難しいベンチマークです。評価の信頼性の原則は、内部の信条から外部のスタンスに変わりました。
300 を超えるコメントの中で、開発者は実行スコアを懸念しているだけでなく、実際のタスクのパフォーマンス、使用コスト、環境への適応について繰り返し質問されています。オープンソース モデルの競争力の側面は、リストに示されているものよりも広範囲に及びます。 Hunyuan チームが 2 時間で提示した優先事項は、まず強固な基盤を築き、モデルを実際のタスクでより使いやすくし、その後、機能の限界を探索し続けることでした。
答えのない質問、考えすぎ、創造的な文章、そして直接認識された再帰的な自己改善が、次のイテレーションへのロードマップを形成します。 9 か月前、Hunyuan は事前トレーニングおよび強化学習のインフラストラクチャを再構築しました。 9 か月後、2 つのモデルと 2 時間の Q&A が再構築後の段階的な結果を構成しました。まず基礎を築き、次に境界を探索します。
残りは次のバージョンに任せます。 (この記事は最初にTitanium Media APPに掲載されました。著者|AGI-Signal、編集者|Qin Conghui)
原作を尊重し、資格があれば評価されるはずです。
サイバーセキュリティ法の実名要件に従って、コメントを投稿する前に携帯電話番号をバインドしてください。
急行
11:05
米国の貨物ドラゴン宇宙船が宇宙ステーションから離脱、地球帰還へ出発
10:31
米大統領特使、カタール高官らと米国・イラン調停作業について協議
10:30
量子コンピューター「高速メモリ」を世界で初めて実機上で実現
10:27
政府機関: 需要は冷え込んでおり、テレビ、モニター、ノートパソコンのパネルの価格は 11 月も軒並み横ばいとなる可能性があります。
10:25
ミンチー・クオ氏: Googleは2027年にTPU 8tおよび8iシリーズの出荷割合を調整すると予想されている
10:22
段階的な調整でも背景は変わっておらず、多くの金融機関はA株の評価と回復力について楽観的だ。
10:21
インターネット上では、レイパオA10のトランクが数箱のビールで押しつぶされたと報告されている。リーパオは答えた。
10:19
国際的な金価格は下落し続けている
10:16
FRB高官ポールソン氏:賢明な利上げを支持し、必要に応じて利上げを継続する可能性がある
10:15
ソフトバンクへの売却が完了できない場合、ABBはロボット事業のスピンオフを検討していると報じられている。
10:12
Anthropic IPO は個人投資家から約 1,150 億米ドルから 1,200 億米ドルの申し込み需要を受けました
10:10
金宝飾品の価格は下落し続け、老鳳祥は1日で34元下落した
食品宅配会社ワンダーがグラブハブの売却を検討中
10:09
Databricksは新たな資金調達ラウンドで交渉中であると報じられており、評価額は2,250億米ドルに達すると予想されている
10:08
クラウドストライクがサイバーセキュリティ企業ゼットスケーラーの買収交渉を行っていると報じられている
10:06
アポロとゴールドマン・サックス、440億ドルのSpaceX GPU資金調達の価格設定を完了
「ビッグショート」投資家マイケル・バーリー氏、NVIDIAのプットオプションの保有を減らし、一部の利益を確保
10:04
『グランド・セフト・オート6』初日の小売売上高が37億9,000万ドルに達し、エンターテインメント業界の記録を樹立
09:59
イラン外務大臣:「2日間の計画」はまだ検討段階にあり、米国と協議する用意がある
09:53
トランプ大統領:中露米大統領会談は「前例がなく」「非常に意義深い」
スキャンしてアプリをダウンロード



