選單

加密部分

新的多模式知識代理基準測試人工智慧是否可以像專業人士一樣處理藍圖、示意圖和臨床掃描

2026 年 11 月 10 日星期二 · 13:21 美國東部時間 · 閱讀 3 分鐘

在人工智慧領域

分享

Google DeepMind 和 Artificial Analysis 發布了人工智慧代理的新標準，它比大多數基準測試更專注於圖表。

多模式知識代理基準（MKA）對複雜、視覺繁重的專業工作的自主代理進行評分。它跳過瑣事問題和解謎。它更接近績效評估。

MKA 實際上測試什麼

這兩個組織於 2026 年 11 月 10 日發布了 MKA。該發布與 DeepMind 部落格文章和隨附的技術論文同時發布。

該基準包含分佈在 10 個行業垂直領域的 200 項私人任務。每項任務都是根據代表 83 個不同職業的專家的意見制定的。

特工必須解讀建築藍圖、工程原理圖、臨床掃描和其他密集的視覺資料。然後，代理商必須產生真正的可交付成果，包括電子表格、投影片和標記影像。

這些任務以多步驟專案為模型，通常需要專業人員 3 到 8 小時才能完成。

評分遵循嚴格的專家評分標準。這些標準會權衡事實的準確性和視覺設計，因此隱藏在醜陋、難以閱讀的幻燈片中的正確答案仍然會失分。

對評分者進行評分

MKA 依賴代理自動評分器，這是一種對其他人工智慧系統的輸出進行評分的人工智慧系統。

研究結果顯示，自動評估者與人類專家對評估標準的一致性達到了96.2%。

人工智慧、科技及其所推動的市場—每日簡報。

日常的。自由的。加入加密貨幣、金融和政策領域 34,000 多名讀者的行列。

我們尊重您的隱私。隨時取消訂閱。

任務的私人性質也很重要。由於這 200 項任務不是公開的，因此開發人員無法輕鬆地提前根據答案訓練模型。

早期結果：品質與成本

第一個排行榜已經包含了谷歌的一個值得注意的數據點。 Gemini 4 Carbon（高）在 MKA 上的品質排名第二。

更引人注目的數字是效率。 Gemini 4 Carbon（高）完成任務的成本比排名第一的型號低約 6 倍。

值得注意的是顯而易見的。 DeepMind 共同建立了基準測試，其自己的模型在成本調整後的性能方面得分很高。這並不會使結果無效，但讀者應該考慮到這種關係來權衡它們。

為什麼視覺推理是缺少的部分

許多現有的人工智慧基準都依賴純文字任務。 MKA 旨在透過將視覺推理引入評估本身來填補這一空白。

這種差距很重要，因為專業工作很少是純文字。建築師根據圖紙工作，工程師根據原理圖工作，臨床醫生根據掃描工作。

透過要求視覺理解和精美的輸出，MKA 測試了知識工作的完整循環：接受複雜的材料，對其進行推理，然後交回可用的產品。

這對人工智慧開發商和買家意味著什麼

對於模型開發商來說，MKA 提高了多式聯運能力的賭注。它還將設計品質納入記分卡。如果專家準則懲罰雜亂或令人困惑的可交付成果，那麼開發人員就不能再將格式化視為事後的想法。

對於手工策劃的基準測試來說，跨 10 個部門的 200 項任務是很重要的，但它仍然涵蓋了專業工作的一部分，並且一個垂直領域的結果可能無法整齊地轉移到另一個垂直領域。

自動評估者與人類專家的一致性高達 96.2%，但剩餘的分歧可能集中在最困難或最主觀的任務上。

Artificial Analysis 為此專案帶來了第三方評估品牌，而 DeepMind 則帶來了研究實力和直接競爭利益。其他實驗室如何應對，以及他們是否提交模型並接受該方法，將決定 MKA 是否成為行業標準或仍然是眾多標準之一。

揭露：本文由迭戈·阿爾馬達·洛佩茲編輯。有關我們如何創建和審查內容的更多信息，請參閱我們的編輯政策。

關於您所持有物品的新聞

關注您的股票和加密貨幣。在 Pro 中閱讀來自數百家發布商的有關他們的新聞。

隱私權政策