تينسنت هونيوان في 20 نوفمبرالحساب الرسمي Xالإعلان عن وزن الطراز الرائد مفتوح المصدر Hy4. وفق بطاقة نموذج وجه المعانقة، هذه المرة تم إصدار الإصدارات الكمية من Hy4 وFP8 Hy4-FP8 والنموذج الأساسي Hy4 الأساسي المدرب مسبقًا. يتم وضع ModelScope وGitCode في وقت واحد، ويتم إرفاق بطاقة النظام التي تحتوي على تقييم الأمان.
يبلغ إجمالي معلمات العمود الفقري للغة Hy4 770 بايت، ويتم تمكين كل رمز مميز 49 بايت، ويبلغ طول السياق مليون رمز مميز، ويمكنه فهم النصوص والصور ومقاطع الفيديو. وقالت تينسنت إنها مفتوحة المصدر معاينة Hy4 وعلى أساس ذلك، تم توسيع التدريب المسبق وما بعد التدريب بشكل كبير، وأضيفت القدرات البصرية، وتم إحراز تقدم كبير في اتباع التعليمات والنصوص الطويلة ومهام العملية الطويلة والبحث المتعمق.
حجم المعلمة هو نفس حجم المعاينة، مع برنامج تشفير مرئي إضافي يبلغ 1.23 بايت
بمقارنة نسختي بطاقة النموذج، فإن Hy4 هو نفس البنية الخبيرة الهجينة المكونة من 78 طبقة مثل المعاينة. الطبقة الأولى عبارة عن شبكة تغذية أمامية كثيفة. تحتوي كل طبقة من الطبقات الـ 77 المتبقية على 256 خبير توجيه بالإضافة إلى خبير واحد مشترك. يتيح كل رمز مميز لـ 8 خبراء توجيه. يكمن الاختلاف في إضافة مشفر مرئي بمعلمة 1.23B؛ تستخدم وحدة الانتباه اهتمامًا متفرقًا مصممًا بالإشارة إلى DeepSeek وZhipu GLM، ومعلمة 3.3B مدمجة لنموذج مسودة DFly2 لفك التشفير التخميني. قالت Tencent إنها تستطيع الحفاظ على تكلفة الاستدلال على النص الطويل ثابتة.
درجات النموذج الأساسي المدرب مسبقًا والمدرجة في بطاقة النموذج، سجلت قاعدة Hy4 91.6 في MMLU وسجل SimpleQA 57.2، وهي أعلى من 91.1 و52.1 لـ DeepSeek-V4-Pro-Base في جدول Tencent، لكن سؤال البرنامج MBPP-plus هو 74.0، أي أقل من 79.1 لـ DeepSeek. هذه هي تقييمات Tencent الخاصة. لاحظت Tencent أيضًا على بطاقة النموذج أن النموذج الأساسي تعرض لكمية كبيرة من بيانات التعليمات الاصطناعية في منتصف التدريب، وأحيانًا لم يجيب على الأسئلة وفقًا للتنسيق أثناء اختبار العينة الصغيرة، وقد تكون النتائج مشوهة.
تم تغيير التفويض من Apache 2.0 إلى شروط Tencent المخصصة
الفرق الأكبر هو الترخيص. تستخدم معاينة Hy4 Apache 2.0. هذه المرة يستخدم Hy4 "Tencent Hy License 1.0" والذي تمت إعادة كتابته بناءً على Apache 2.0.شروط الترخيصيضيف القسم 10 قيودًا تجارية: يجب على الشركات التي تستخدم Hy4 لتوفير واجهات برمجة التطبيقات وغيرها من خدمات النموذج كخدمة (MaaS) الحصول على تصريح كتابي إضافي من Tencent طالما أن إيراداتها العالمية تتجاوز 50 مليون دولار أمريكي خلال 12 شهرًا متتاليًا، أو أن منتجاتها تضم أكثر من 100 مليون مستخدم نشط شهريًا.
تنص الشروط أيضًا على أن تلك التي تقصر وظائف النموذج فقط على المنتجات النهائية لأغراض محددة، أو التي تنقل خدمات نموذجية تابعة لجهات خارجية بحتة، لا تعتبر MaaS؛ لا يتم توفير الاستخدام الداخلي المحض للشركة والنماذج والمخرجات لأطراف ثالثة، ولا تخضع لهذا التقييد. النسخة منخفضة السعر التي أطلقتها Tencent في 16 نوفمبر فلاش Hy4وقال في ذلك الوقت أنه سيتم فتح الأوزان أيضًا في المستقبل.
هذه المقالة النموذج الرئيسي مفتوح المصدر من Tencent Hy4: معلمات 770B، يتغير الترخيص إلى العتبة التجارية ظهرت لأول مرة في أخبار السلسلة ABMedia。




