ياو شونيو ظهر على موقع Reddit للإجابة على الأسئلة لمدة ساعتين: المشكلة الأصعب في التدريب بعد هونيوان هي الإفراط في التفكير

إشارة AGI

2026.11.21 10:53

· من بكين

النص الكامل 3036 كلمة

تتحول المنافسة على النماذج الكبيرة مفتوحة المصدر من نتائج القائمة إلى السمعة الحقيقية بين مجتمع المطورين.

في الصباح الباكر من يوم 21 نوفمبر، بتوقيت بكين، ظهر ياو شونيو، كبير علماء الذكاء الاصطناعي في Tencent ورئيس نموذج Hunyuan الكبير، وباحثون من فريق Hunyuan، في مجتمع r/LocalLLaMA على Reddit وأجروا AMA (اسألني أي شيء) لمدة ساعتين. هذه هي المرة الأولى التي يجيب فيها فريق Hunyuan علنًا على أسئلة مجتمع المطورين. وقد تلقت أكثر من 300 رسالة تغطي موضوعات تتراوح بين اختيارات الهندسة المعمارية وتقييم الأمان.

منذ أقل من شهر، أصدرت شركة Hunyuan نموذجين واحدًا تلو الآخر. في 4 نوفمبر، تم تصنيف Hy4 بين أقوى النماذج مفتوحة المصدر في العالم لأول مرة، واحتلت المرتبة الثانية بين النماذج الصينية في قائمة مؤشر الذكاء لوكالة تقييم الطرف الثالث للتحليل الاصطناعي، واحتلت المرتبة الأولى بين النماذج مفتوحة المصدر في قائمة Agent Arena. تم وضع Hy4 flash، الذي تم إصداره بعد أكثر من أسبوع، على أنه "النموذج النهائي الفعال من حيث التكلفة للعمل اليومي"، حيث تكلف مهمة واحدة فقط جزءًا من عشرين من Hy4.

تسعة أشهر، إصداران

من منظور الإيقاع الزمني:

لقد مرت تسعة أشهر فقط منذ إعادة الإعمار في فبراير.

تقسيم العمل بين Hy4 وHy4 فلاش يتوافق مع طريقين. يقوم الأول بتوسيع حجم النموذج ومقياس البيانات ويستكشف الحد الأعلى للذكاء، في حين أن الأخير يضغط التكاليف ويجعلها في المتناول للمهام اليومية.

وأكد الفريق في الأسئلة والأجوبة أن نطاق نموذج الجيل التالي من Hy "سيتم بالتأكيد توسيعه بشكل كبير". سأل أحد المطورين عن حقيقة أن شركات مثل ByteDance وKimi تروج لنماذج واسعة النطاق بمعلمات 3T أو حتى 5T، بينما لا تزال Hunyuan عند مستوى 700B. كان رد الفريق هو أن Hy3 وHy4 قد أظهرا أن النماذج الأصغر التي تم تصميمها بقوة يمكن أن تتفوق في كثير من الأحيان على النماذج الأكبر بتكاليف أقل وتتعلم المزيد في هذه العملية.

في الطرف الآخر من خط الإنتاج، يوجد Hy4 mini بالفعل على خريطة الطريق، وتم تأكيد أن 35B-A3B Flash-Lite قيد التقدم، ويجري النظر في نماذج صور أصغر مفتوحة المصدر، وهناك أخبار جديدة حول نماذج الفيديو. بالنسبة للفهم البصري على الجهاز، فإن رأي الفريق هو أن نموذج A3B الذي يحتوي على ما يقرب من 3 مليار معلمة منشطة يمكنه بالفعل القيام بمهمة فهم لقطات الشاشة والرسوم البيانية وإجراء الاستدلالات.

هناك أيضًا مكان لوزارة التربية والتعليم الدورية والتعلم المستمر على خارطة الطريق. الرد على السؤال الأول هو "بالطبع هذا ممكن، يرجى المتابعة"، بينما يتم دراسة الأخير بشكل نشط. ويجري أيضًا تكرار البنية التحتية للتدريب التي تدعم البحث والتطوير، كما أن Hyra 3.0 قيد التطوير بالفعل.

المقايضات تسبق المعلمات

وعندما سُئلوا عن سبب اختيارهم في النهاية لـ MLA بدلاً من GQA، كشف الفريق عن تاريخ من المقايضات المتكررة. الكثافة الحسابية لـ MLA أعلى بكثير من كثافة GQA. عند إجراء فك التشفير التخميني على وحدة معالجة الرسومات الاستدلالية، سوف يقع عنق الزجاجة على قوة الحوسبة. ومع ذلك، في ظل نفس حجم ذاكرة التخزين المؤقت KV، تكون جودة نموذج MLA أفضل من جودة GQA. وبعد إدخال النفاذ الدينامي إلى الطيف (DSA)، تنخفض الكثافة الحسابية لمرحلة فك التشفير، ويميل ميزان المفاضلات.

تستمر العديد من التصميمات الأخرى لفلاش Hy4 في نفس مجموعة المقايضات. تعمل SWA على تقليل ذاكرة التخزين المؤقت KV إلى ربع حجمها الأصلي، كما يتم تقليل تكاليف الخدمة بشكل كبير. إلى جانب تصميم تفريغ معلمات Engram 64B إلى الذاكرة المضيفة، يمكن تشغيل النماذج ذات المعلمات النشطة 12B بسلاسة مع التكوينات التي تزيد عن 128 جيجابايت.

قام أحد المطورين بإدراج مجموعة من مقارنات التناثر. يحتوي فلاش Hy4 بدون Engram على معامل إجمالي 156B، وتفعيل 12B، ونسبة تنشيط 7.7%. Qwen3.8-Flash يصل إلى 4.8%، وDSv4.1 منخفض يصل إلى 2.9%. ما مدى أهمية كثافة التنشيط العالية للذكاء؟ تعتمد إجابة الفريق على تجربة سلم المقياس: عندما يتم إصلاح مقدار معلمات التنشيط، يمكن أن تؤدي زيادة التشتت إلى تحسين كفاءة الحوسبة. ومع ذلك، فإن الحفاظ على إجمالي المعلمات دون تغيير وتقليل معلمات التنشيط ببساطة سيؤدي إلى الإضرار بشكل كبير بجودة النموذج، لأن مقدار معلمات التنشيط يحدد بشكل أساسي الميزانية الحسابية.

ويرى الفريق أن بنية وزارة التربية والتعليم المتناثرة للغاية ليست صديقة للتفكير وتستهلك قدرًا كبيرًا من ذاكرة الفيديو ولكنها لا تستطيع الاستفادة الكاملة من قوة الحوسبة. وبنفس الإنتاجية، من الممكن تشغيل النماذج بنفس المعلمات الإجمالية والمزيد من معلمات التنشيط. أما الجانب النهائي فهو مجموعة مختلفة من الأفكار. يجب تصميم البنية بشكل أوثق مع أجهزة GPU الخاصة بجهاز الحافة.

في الإجابة على مخطط التكميم، يكون الإسقاط السفلي أكثر حساسية للتكميم بسبب القيم المتطرفة في قيمة التنشيط، وسيتم تخصيص المزيد من البتات. يتم تحديد عرض البت بناءً على حساسية Hessian. بعد التكميم، سيتم تدريب جهاز التوجيه مع QAT للحفاظ على الاستقرار، ويفضل الفريق QAT ذات المعلمة الكاملة لأن جودة النموذج أفضل. هذه المجموعة من الإجابات هي الجزء الأكثر تفصيلاً من المشروع في الأسئلة والأجوبة بأكملها.

أصعب شيء هو التفكير الزائد

وعندما سئل عن السلوك الأكثر صعوبة في تحسينه في مرحلة ما بعد التدريب، كان الرد أربع كلمات فقط: الإفراط في التفكير. يسعى Hy4 إلى الحد الأعلى للذكاء، وسلسلة التفكير الطويلة مشكلة معروفة. يتميز الحل بلون منتج ذو حلقة مغلقة، حيث يقوم بتقطير سلسلة التفكير الطويلة لـ Hy4 إلى فلاش Hy4 الفعال من حيث التكلفة، ومن ثم ضمان سلسلة تفكير أقصر للأخير من خلال التعلم المعزز.

طرح بعض المطورين أسئلة على أساس الكتابة، قائلين إنه إذا شرح النموذج الأمور بسهولة أكبر، فسيكون ذلك سببًا مهمًا لهم للتبديل من Qwen 3.8 Flash Next. أجاب الفريق بأن الكتابة الإبداعية وسهولة القراءة أمران مهمان للغاية ويتم تحسينهما كاتجاهات رئيسية، مضيفين أنه "في بعض الأحيان، يكون المثال الجيد أكثر فائدة من خمس فقرات". كما أقروا بالاهتمام بملاحظة تدهور القدرة الكتابية للنماذج الكبيرة بشكل عام، ويعتقدون أن ذلك قد يكون مرتبطًا بأهداف التدريب. ويأملون أن تتمكن النماذج من الكتابة "مثل البشر بشكل أكبر وتعبيرات أقل روتينية".

فيما يتعلق بما إذا كان بإمكان Hy4 العمل بشكل مستقل وتطوير نماذج الجيل التالي، ذكر الرد أنه لا يزال الوقت مبكرًا لقدرات التحسين الذاتي العودية، ولكن تم تطوير العديد من المعايير الداخلية لتقييم القدرات الرئيسية. عندما طُلب منهم تصنيف Hy4 وفقًا لمستويات AGI، أعطى أعضاء الفريق تقييمًا ذاتيًا قدره 2.5.

تتخلل القضايا الفنية ذكريات عملية البحث والتطوير. تم وصف التوسع من Hy3 إلى Hy4 بأنه أصعب لحظة. لم تكن تجربة استئصال البيانات على مستوى التوقعات، وكانت بداية التدريب مليئة بعدم اليقين. "كنت متوترًا للغاية عندما بدأ التدريب للتو." يتذكر الفريق النتيجة النهائية أنه "شعر وكأنني أضع كل الرقائق على الطاولة وأحقق الفوز بالفعل".

إن شرح القيود بوضوح هو أيضًا نوع من المصادر المفتوحة

من أجل فتح المصدر بشكل مسؤول، تقوم Hunyuan بتصفية بيانات أمان الشبكة التي تركز بشكل أساسي على استغلال الثغرات الأمنية والهجمات الهجومية أثناء التدريب، وتتعاون مع حماية رفض الإجابة على مستوى التدريب، وتجري تقييمات الفريق الأحمر. شكك بعض المطورين في أن هذا من شأنه أن يضعف المدافعين، ويحد من الهندسة العكسية، ويضر بتحليل البرامج الضارة والطب الشرعي. استنتاج التقييم الذي قدمه الفريق هو أن Hy4 تتمتع بقدرات قوية على اكتشاف الثغرات الأمنية ولكنها تتمتع بقدرات ضعيفة نسبيًا على استغلال الثغرات الأمنية. يعتبر الرفض المفرط بمثابة اتجاه مهم للتحسين.

تعديل llama.cpp قيد التقدم وسيتم إصداره للمجتمع قريبًا. كما أن التعاون مع vllm وsgl متعمق أيضًا. تم استخدام فلاش Hy4 وHy4 على نطاق واسع في OpenCode وClaude Code وCline. الجواب خاص بالمشروع واسم الأداة. أثناء الأسئلة والأجوبة، قام المطورون أيضًا بالتدخل في الاختبار الفعلي. أصبح Hy4 flash النموذج الأول الذي حصل على درجات مثالية في برمجة الوكيل الداخلي ومعايير مراجعة العلاقات العامة، وكانت سرعة الإنجاز أسرع من Qwen 3.8 Flash Next وGLM 5.3 Flash وDeepSeek V4.1 Flash.

أما بالنسبة لسبب عدم الإعلان عن نتائج المعايير المشتركة مثل GPQA Diamond وSWE Bench، فإن تفسير الفريق هو أن هذه المعايير تم إطلاقها في وقت سابق وتم تشبع النتائج. ما يعرضونه هو معايير أحدث وأكثر صعوبة مثل اختبار الوكلاء الأخير وProgramBench. لقد تحول مبدأ أصالة التقييم من عقيدة داخلية إلى موقف خارجي.

في أكثر من 300 تعليق، لا يهتم المطورون فقط بنتائج التشغيل، ولكن يتم سؤالهم أيضًا بشكل متكرر عن أداء المهمة الحقيقية، وتكاليف الاستخدام والتكيف البيئي. البعد التنافسي للنموذج مفتوح المصدر أوسع مما تظهره القائمة. وكانت الأولوية التي قدمها فريق Hunyuan خلال ساعتين هي وضع أساس متين أولاً، وجعل النموذج أكثر قابلية للاستخدام في المهام الحقيقية، ثم الاستمرار في استكشاف حدود القدرات.

الأسئلة التي لم تتم الإجابة عليها، والتفكير الزائد، والكتابة الإبداعية، والتحسين الذاتي المتكرر التي تم الاعتراف بها بشكل مباشر تشكل خريطة الطريق للتكرار التالي. قبل تسعة أشهر، أعادت هونيوان بناء البنية التحتية للتدريب المسبق والتعلم المعزز. وبعد تسعة أشهر، شكل نموذجان وأسئلة وأجوبة لمدة ساعتين النتائج المرحلية بعد إعادة البناء. ضع الأساس أولًا، ثم استكشف الحدود.

اترك الباقي للإصدار التالي. (تم نشر هذه المقالة لأول مرة على تطبيق Titanium Media، المؤلف|AGI-Signal، المحرر|Qin Conghui)

احترام العمل الأصلي، إذا كنت مؤهلاً، فيجب أن تكون موضع تقدير.

وفقًا لمتطلبات الاسم الحقيقي في قانون الأمن السيبراني، يرجى ربط رقم هاتفك المحمول قبل نشر التعليق.

يعبر

11:05

تنفصل مركبة الشحن الفضائية الأمريكية Dragon عن المحطة الفضائية وتنطلق للعودة إلى الأرض

10:31

المبعوث الرئاسي الأمريكي يناقش أعمال الوساطة الأمريكية الإيرانية مع كبار المسؤولين القطريين

10:30

يتم تحقيق "ذاكرة عالية السرعة" للكمبيوتر الكمومي على جهاز حقيقي لأول مرة في العالم

10:27

الوكالة: انخفض الطلب، وقد تظل أسعار أجهزة التلفاز والشاشات ولوحات الكمبيوتر المحمول ثابتة في جميع المجالات في نوفمبر.

10:25

Ming-Chi Kuo: من المتوقع أن تقوم Google بتعديل نسبة شحن سلسلتي TPU 8t و8i في عام 2027

10:22

ولم يغير التعديل المرحلي الخلفية، والعديد من المؤسسات متفائلة بشأن تقييم ومرونة الأسهم من الدرجة الأولى.

10:21

يُذكر على الإنترنت أن صندوق Leipao A10 قد تم سحقه بواسطة عدة صناديق من البيرة. أجاب ليباو.

10:19

أسعار الذهب العالمية تواصل الانخفاض

10:16

مسؤول الاحتياطي الفيدرالي بولسون: يدعم رفع أسعار الفائدة بشكل حكيم ويمكنه الاستمرار في رفع أسعار الفائدة إذا لزم الأمر

10:15

إذا تعذر إكمال عملية البيع إلى SoftBank، يُقال إن ABB تفكر في فصل أعمالها في مجال الروبوتات.

10:12

تلقى الاكتتاب العام الأولي البشري ما يقرب من 115 مليار دولار أمريكي إلى 120 مليار دولار أمريكي من طلب الاشتراك من مستثمري التجزئة

10:10

يستمر سعر المجوهرات الذهبية في الانخفاض، حيث انخفض سعر Lao Fengxiang بمقدار 34 يوانًا في يوم واحد

تدرس شركة توصيل الأغذية Wonder بيع Grubhub

10:09

أفادت التقارير أن شركة Databricks تتفاوض بشأن جولة جديدة من التمويل، مع تقييم من المتوقع أن يصل إلى 225 مليار دولار أمريكي.

10:08

يقال إن CrowdStrike تجري محادثات للاستحواذ على شركة Zscaler للأمن السيبراني

10:06

أكملت Apollo وGoldman Sachs تسعير تمويل GPU SpaceX بقيمة 44 مليار دولار

قام مايكل بوري، مستثمر "Big Short"، بتخفيض ممتلكاته من خيارات البيع لشركة Nvidia، مما أدى إلى تحقيق بعض المكاسب

10:04

بلغت مبيعات التجزئة للعبة "Grand Theft Auto 6" 3.79 مليار دولار في اليوم الأول، مسجلة رقماً قياسياً في صناعة الترفيه

09:59

وزير الخارجية الإيراني: "خطة اليومين" لا تزال مطروحة على الطاولة ومستعد لمناقشتها مع الولايات المتحدة

09:53

ترامب: لقاء الرئيسين الصيني الروسي الأميركي "غير مسبوق" و"ذو أهمية كبيرة"

قم بالمسح لتنزيل التطبيق