أصدرت شركة استخبارات الثغرات الأمنية VulnCheck مؤخرًا تتبعها الثالث لبرنامج أمان Anthropic، Project Glasswing.تحليل. وفقًا للأرقام الواردة في دفتر الأستاذ العام الخاص بشركة Anthropic اعتبارًا من 2 نوفمبر، أبلغت شركة Glasswing عن إجمالي 37.966 اكتشافًا في الأشهر السبعة منذ إطلاقها. تم الإعلان عن 7349 فقط، أو حوالي 19.4%، وتم تصنيف 217 فقط على أنها ثابتة.

عندما أطلقت Anthropic شركة Glasswing في 7 أبريل، قالت إنها عثرت على "الآلاف من نقاط الضعف شديدة الخطورة" وكانت تعرضها بشكل مسؤول لمشرفي المشاريع مفتوحة المصدر. بدأ عضو VulnCheck، باتريك جاريتي، الذي كتب المقال، في بناء قاعدة بيانات مفتوحة المصدر في منتصف أبريل لتتبع نقاط الضعف التي يمكن أن تعزى إلى Anthropic.

تم إجراء ما يقرب من 12000 اكتشاف جديد في شهرين، وتم إصلاح 15 اكتشافًا آخر فقط.

يقارن VulnCheck دفاتر الأستاذ من 8 سبتمبر إلى 2 نوفمبر: ارتفع إجمالي الاكتشافات من 26,153 إلى 37,966، وهو ما يزيد بمقدار 11,813؛ زيادة ثابتة من 202 إلى 217، أي 15 فقط؛ وارتفع عدد المسحوبين من 245 إلى 419، وزاد عدد المسحوبين على أنهم مكررون من 2 إلى 1670. وخلال نفس الفترة، أدرج دفتر الأستاذ المعدل الإيجابي الحقيقي حيث ارتفع من 91.4% إلى 94.2%.

يعتقد غاريتي أنه على الرغم من وجود تكرارات وتراجعات أكثر من الإصلاحات، إلا أن المعدل الإيجابي الحقيقي لا يزال يرتفع، مما يشير إلى أن النتائج قد لا تنعكس في الطريقة التي يتم بها تصنيف دفتر الأستاذ. كما قام أيضًا بتتبع 442 رقمًا لنقاط ضعف مكافحة التطرف العنيف التي يمكن أن تعزى إلى Anthropic، وهو ما يمثل حوالي 0.5% من إجمالي 93,450 من أشكال مكافحة التطرف العنيف هذا العام، تم إدراج 2 منها فقط على أنها مستغلة فعليًا.

تم اعتبار أكثر من نصف التقارير التي تلقتها شركة Curl على أنها ليست نقاط ضعف

استشهد VulnCheck أيضًا بأداة التنزيل مفتوحة المصدر Curl. قال دانييل ستينبيرج، مشرف Curl مؤخرًا، إن المشروع تلقى مجموعة من 45 تقريرًا عن نقاط الضعف من Anthropic، وقد قيم Anthropic ذاتيًا أن أحد هذه التقارير كان متوسط ​​الخطورة والباقي منخفض المخاطر. من بين 34 تم الكشف عنها حتى وقت التحليل، تم اعتبار 19 منها على أنها ليست نقاط ضعف، وتم تأكيد 6 منها على أنها منخفضة المخاطر، و9 لا تزال قيد التقييم.

وخلص غاريتي إلى أن الذكاء الاصطناعي هو بالفعل أداة مفيدة للعثور على نقاط الضعف، لكن رقم السبعة أشهر لا يتطابق مع ما قالته شركة Glasswing عند إطلاقه، ويتم أيضًا نقل أعمال التحقق إلى المشرفين على المصادر المفتوحة.

لقد اعترفت الأنثروبيك سابقًا بأن التحقق البشري يمثل عنق الزجاجة

عندما أطلقت Anthropic أداة المسح ذات الخدمة الذاتية للمشروع مفتوح المصدر OSS Scanner في 8 أكتوبر،المادة الرسميةوذكرت أنه تم تحديد أكثر من 29000 نقطة ضعف مشتبه بها في ذلك الوقت، ولكن تمت مراجعة حوالي 6000 نقطة يدويًا فقط، معترفة بأنها كانت محدودة بـ "قدرات التحقق البشري"؛ كما أرسلت أيضًا ما يقرب من 5000 تقرير لم يتم التحقق منها على دفعات بناءً على طلب بعض المشرفين.

ذكرت Anthropic أيضًا أن تقارير OSS Scanner "يتم إنشاؤها بالكامل بواسطة النماذج ولم تتم مراجعتها أو تصنيفها يدويًا." وقد تحتوي على أخطاء أو محتوى غير صالح وتترك لتقدير القائمين على المشروع. ذكرت سلسلة أخبار سابقا عن هذه الخطة، انظر تستخدم Anthropic أقوى نموذج لفحص نقاط الضعف في المشاريع مفتوحة المصدر مجانًا. وحتى وقت كتابة المقالة، لم ترد أنثروبيك علنًا على تحليل VulnCheck.

هذه المقالة اكتشف مشروع الضعف البشري 38000 نقطة ضعف في سبعة أشهر، وتم إصلاح 217 نقطة فقط ظهرت لأول مرة في أخبار السلسلة ABMedia。