テンセント・フンユアン、11月20日X公式アカウントオープンソースのフラッグシップモデルHy4の重量を発表。によると ハグフェイスモデルカード, 今回は、Hy4 と FP8 の定量化バージョン Hy4-FP8 と、事前学習済みの基本モデル Hy4 ベースがリリースされます。 ModelScopeとGitCodeを同時配置し、セキュリティ評価を収録したシステムカードが付属します。
Hy4 言語バックボーンの合計パラメータは 770B、各トークンが有効になるのは 49B、コンテキストの長さは 100 万トークンで、テキスト、画像、ビデオを理解できます。テンセントはオープンソース化したと発表した。 Hy4 プレビュー これに基づいて、事前トレーニングと事後トレーニングが大幅に拡張され、視覚機能が追加され、指示、長いテキスト、長いプロセスのタスク、詳細な調査に従うことが大幅に進歩しました。
パラメータのサイズはプレビューと同じですが、1.23B のビジュアル エンコーダが追加されています。
モデル カードの 2 つのバージョンを比較すると、Hy4 はプレビューと同じ 78 層ハイブリッド エキスパート アーキテクチャです。最初の層は高密度のフィードフォワード ネットワークです。残りの 77 レイヤーには、それぞれ 256 人のルーティング エキスパートと 1 人の共有エキスパートが含まれます。各トークンにより 8 人のルーティング エキスパートが有効になります。違いは、1.23B パラメーターのビジュアル エンコーダーが追加されていることです。アテンション モジュールは、DeepSeek および Zhipu GLM を参照して設計されたスパース アテンションと、投機的デコード用の組み込み 3.3B パラメータ DFly2 ドラフト モデルを使用します。テンセントは、長文推論のコストを固定できると述べた。
モデルカードに記載されている事前トレーニング済み基本モデルのスコアは、Hy4 ベースの MMLU スコアが 91.6、SimpleQA のスコアが 57.2 で、Tencent のテーブルにある DeepSeek-V4-Pro-Base の 91.1 および 52.1 よりも高くなっていますが、プログラムの質問 MBPP-plus は 74.0 で、DeepSeek の 79.1 よりも低くなっています。これらはテンセント独自の評価です。 Tencentはまた、基本モデルがトレーニングの途中で大量の合成指示データにさらされ、小規模なサンプルテスト中に形式に従って質問に回答しないことがあり、スコアが歪められる可能性があることをモデルカードに記載しました。
認可が Apache 2.0 から Tencent のカスタマイズされた条件に変更されました
最大の違いは権限です。 Hy4 プレビューは Apache 2.0 を使用します。今回のHy4は、Apache 2.0をベースに書き換えられた「Tencent Hy License 1.0」を利用する。ライセンス条項セクション 10 では商業上の制限が追加されています。Hy4 を使用して API やその他の Model-as-a-Service (MaaS) サービスを提供する企業は、連続 12 か月以内に世界収益が 5,000 万米ドルを超えるか、自社製品の月間アクティブ ユーザー数が 1 億人を超える場合に限り、Tencent から追加の書面による許可を取得する必要があります。
この規約では、特定の目的でモデル機能を最終製品に限定するもの、または純粋にサードパーティのモデル サービスを転送するものは MaaS とみなされないとも述べられています。会社の純粋な内部使用、モデルおよび出力は第三者に提供されず、この制限の対象にはなりません。テンセントが11月16日に発売した廉価版 Hy4フラッシュ、その時、将来的にはウェイトもオープンになるだろうと言いました。
この記事 Tencent のオープンソース主力モデル Hy4: 770B パラメータ、商用閾値への認可変更 最初に登場したのは チェーンニュース ABMedia。




