La société de renseignement sur les vulnérabilités VulnCheck a récemment publié son troisième suivi du programme de sécurité d'Anthropic, Project Glasswing.analyser. Selon les chiffres du grand livre public d'Anthropic au 2 novembre, Glasswing a signalé un total de 37 966 découvertes au cours des sept mois écoulés depuis son lancement. Seuls 7 349, soit environ 19,4 %, ont été rendus publics et seulement 217 ont été marqués comme corrigés.

Lorsqu'Anthropic a lancé Glasswing le 7 avril, il a déclaré avoir trouvé « des milliers de vulnérabilités à haut risque et à haut risque » et les exposer de manière responsable aux responsables du projet open source. Patrick Garrity, membre de VulnCheck et auteur de l'article, a commencé à créer une base de données open source à la mi-avril pour suivre les vulnérabilités pouvant être attribuées à Anthropic.

Près de 12 000 nouvelles découvertes ont été réalisées en deux mois, et seulement 15 autres ont été corrigées.

VulnCheck compare les registres du 8 septembre au 2 novembre : le total des découvertes est passé de 26 153 à 37 966, soit 11 813 de plus ; le fixe est passé de 202 à 217, soit seulement 15 de plus ; le nombre de demandes retirées est passé de 245 à 419, et celles marquées comme doublons sont passées de 2 à 1 670. Au cours de la même période, le grand livre indiquait que le taux de véritables positifs était passé de 91,4 % à 94,2 %.

Garrity estime que même s'il y a plus de duplications et de rétractations que de corrections, le taux de véritables positifs continue d'augmenter, ce qui indique que les résultats pourraient ne pas se refléter dans la manière dont le grand livre est classé. Il a également suivi 442 numéros de vulnérabilité CVE pouvant être attribués à Anthropic, ce qui représente environ 0,5 % de l'ensemble des 93 450 CVE cette année, dont seulement 2 sont répertoriés comme étant réellement exploités.

Plus de la moitié des rapports reçus par curl ont été jugés ne pas être des vulnérabilités

VulnCheck a également cité l'outil de téléchargement open source curl. Le responsable de Curl, Daniel Stenberg, a récemment déclaré que le projet avait reçu un lot de 45 rapports de vulnérabilité d'Anthropic, et Anthropic avait auto-évalué que l'un d'entre eux présentait un risque moyen et les autres un risque faible. Sur les 34 divulgués au moment de l’analyse, 19 ont été jugés ne pas constituer des vulnérabilités, 6 ont été confirmés comme présentant un faible risque et 9 sont toujours en cours d’évaluation.

Garrity a conclu que l'IA est effectivement un outil utile pour trouver des vulnérabilités, mais le chiffre sur sept mois ne correspond pas à ce que Glasswing a déclaré lors de son lancement, et le travail de vérification est également transmis aux responsables de l'open source.

Anthropic a déjà reconnu que la vérification humaine est un goulot d'étranglement

Lorsqu'Anthropic a lancé l'outil d'analyse en libre-service du projet open source OSS Scanner le 8 octobre,Article officielIl a déclaré que plus de 29 000 vulnérabilités suspectées avaient été identifiées à ce moment-là, mais que seulement 6 000 environ avaient été examinées manuellement, admettant que cela était limité par les « capacités de vérification humaine » ; il avait également envoyé par lots près de 5 000 rapports non vérifiés à la demande de certains responsables.

Anthropic a également déclaré que les rapports d'OSS Scanner sont « entièrement générés par des modèles et n'ont pas été examinés ou classés manuellement ». Ils peuvent contenir des erreurs ou du contenu invalide et sont laissés à la discrétion des responsables du projet. Chain News a déjà fait état de ce plan, voir Anthropic utilise le modèle le plus puissant pour analyser gratuitement les vulnérabilités des projets open source. Au moment de mettre sous presse, Anthropic n’avait pas répondu publiquement à l’analyse de VulnCheck.

cet article Le projet de vulnérabilité anthropique a découvert 38 000 vulnérabilités en sept mois, seulement 217 ont été corrigées est apparu pour la première fois dans Chaîne Actualités ABMedia。