메뉴

암호화 섹션

새로운 다중 모드 지식 에이전트 벤치마크는 AI가 실무 전문가처럼 청사진, 회로도 및 임상 스캔을 처리할 수 있는지 테스트합니다.

2026년 11월 10일 화요일 · 13:21 EST · 읽기 3분

AI에서는

공유하다

Google DeepMind와 인공 분석은 AI 에이전트에 대한 새로운 척도를 발표했으며, 여기에는 대부분의 벤치마크보다 다이어그램을 훨씬 더 자세히 살펴보는 작업이 포함됩니다.

Multimodal Knowledge Agent 벤치마크(MKA)는 복잡하고 시각적으로 무거운 전문 작업에서 자율 에이전트의 등급을 매깁니다. 퀴즈 질문과 퍼즐 풀이를 건너뜁니다. 성과평가에 가깝습니다.

MKA가 실제로 테스트하는 것

두 조직은 2026년 11월 10일에 MKA를 공개했습니다. 릴리스는 DeepMind 블로그 게시물 및 관련 기술 문서와 동시에 이루어졌습니다.

벤치마크에는 10개 산업 분야에 걸쳐 200개의 개인 작업이 포함되어 있습니다. 각 작업은 83개 직업을 대표하는 전문가의 의견을 바탕으로 구성되었습니다.

에이전트는 건축 청사진, 엔지니어링 도식, 임상 스캔 및 기타 조밀한 시각 자료를 해석해야 합니다. 그러면 상담원은 스프레드시트, 슬라이드 데크, 마크업 이미지 등 실제 결과물을 생성해야 합니다.

작업은 일반적으로 전문가가 완료하는 데 3~8시간이 걸리는 다단계 프로젝트를 모델로 합니다.

채점은 엄격한 전문가 기준을 따릅니다. 이러한 루브릭은 시각적 디자인과 함께 사실적 정확성을 중요시하므로 보기 흉하고 읽을 수 없는 슬라이드 데크에 묻혀 있는 정답은 여전히 ​​점수를 잃습니다.

채점자 채점

MKA는 다른 AI 시스템의 결과에 점수를 매기는 AI 시스템인 에이전트 자동 평가기에 의존합니다.

연구 결과에 따르면, 평가자는 평가 기준에 대해 인간 전문가와 96.2%의 동의율을 달성했습니다.

AI, 기술, 그리고 이들이 움직이는 시장을 일일 브리핑으로 만나보세요.

일일. 무료. 암호화폐, 금융, 정책 전반에 걸쳐 34,000명 이상의 독자와 함께 하세요.

우리는 귀하의 개인정보를 존중합니다. 언제든지 구독을 취소하세요.

업무의 사적인 성격도 중요합니다. 200개의 작업은 공개되지 않기 때문에 개발자는 미리 답변에 대해 모델을 쉽게 훈련시킬 수 없습니다.

초기 결과: 품질 대 비용

첫 번째 리더보드에는 이미 Google의 주목할만한 데이터 포인트가 포함되어 있습니다. Gemini 4 Carbon(높음)은 MKA 품질 부문에서 2위를 차지했습니다.

더욱 눈길을 끄는 수치는 효율성이다. Gemini 4 Carbon(하이)은 1위를 차지한 모델보다 약 6배 낮은 비용으로 작업을 완료했습니다.

명백한 점에 주목할 가치가 있습니다. DeepMind는 벤치마크를 공동 구축했으며 자체 모델은 비용 조정 성능에서 좋은 점수를 받았습니다. 그렇다고 해서 결과가 무효화되는 것은 아니지만 독자들은 그 관계를 염두에 두고 평가해야 합니다.

시각적 추론이 누락된 부분인 이유

기존의 많은 AI 벤치마크는 텍스트 전용 작업에 의존합니다. MKA는 평가 자체에 시각적 추론을 적용하여 이러한 격차를 메우도록 설계되었습니다.

전문적인 작업이 순수한 텍스트인 경우는 거의 없기 때문에 이러한 격차가 중요합니다. 건축가는 도면으로, 엔지니어는 회로도로, 임상의는 스캔으로 작업합니다.

시각적 이해력과 세련된 출력을 모두 요구함으로써 MKA는 지식 작업의 전체 루프를 테스트합니다. 즉, 복잡한 자료를 받아들이고 이에 대해 추론하고 사용 가능한 제품을 돌려줍니다.

이것이 AI 개발자와 구매자에게 의미하는 바

모델 개발자의 경우 MKA는 다중 모드 기능에 대한 이해도를 높입니다. 또한 스코어카드에 디자인 품질을 부여합니다. 전문가 기준표가 어수선하거나 혼란스러운 결과물에 불이익을 주는 경우 개발자는 더 이상 서식 지정을 나중에 고려할 수 없습니다.

10개 부문에 걸친 200개 작업은 직접 선별한 벤치마크의 경우 상당하지만 여전히 전문적인 작업의 일부를 다루며 한 업종의 결과가 다른 업종으로 깔끔하게 전달되지 않을 수 있습니다.

인간 전문가와 자동 평가자의 96.2% 동의는 강력하지만 나머지 불일치는 가장 어렵거나 가장 주관적인 작업에 집중될 수 있습니다.

인공 분석은 제3자 평가 브랜드를 프로젝트에 가져오고, DeepMind는 연구 역량과 직접적인 경쟁 관심을 가져옵니다. 다른 연구소가 어떻게 대응하는지, 모델을 제출하고 방법론을 수용하는지 여부에 따라 MKA가 업계 표준이 될지 아니면 많은 벤치마크 중 하나로 남을지 결정됩니다.

공개: 이 기사는 Diego Almada Lopez가 편집했습니다. 당사가 콘텐츠를 생성하고 검토하는 방법에 대한 자세한 내용은 당사의 편집 정책을 참조하세요.

보유하고 있는 소식

주식과 암호화폐를 팔로우하세요. Pro에서 수백 개의 게시자가 제공하는 뉴스를 읽어보세요.

개인 정보 보호 정책