Google DeepMind uruchamia benchmark Multimodal Knowledge Agent

Google DeepMind, we współpracy z Artificial Analysis, zaprezentowało benchmark Multimodal Knowledge Agent (MKA) 10 listopada 2026 roku. MKA sprawdza, jak agenci AI rozumują na podstawie wizualnie złożonych plików, aby wykonać rzeczywiste zadania z pracy wiedzy, a w pierwszych testach Gemini 4 Carbon zajął drugie miejsce pod względem jakości wśród testowanych modeli, kosztując przy tym średnio sześć razy mniej niż model z najwyższym wynikiem.

Co obejmuje benchmark

• Benchmark obejmuje 200 prywatnych zadań ewaluacyjnych, a 10 publicznych zadań zostało udostępnionych na Hugging Face
• Zadania obejmują 10 branż i 83 zawody, w tym architektów, biologów, underwriterów i analityków danych
• Każde zadanie odpowiada 3 do 8 godzinom pracy zawodowej
• Ocena jest ważona w 75% dokładnością faktograficzną i w 25% jakością wizualną, a ocenia ją automatyczny system oceniający, który zgadza się z ocenami ekspertów ludzkich w 96% przypadków
• Testowane modele wykorzystywały średnio od 30 do 130 tur za pomocą otwartoźródłowego środowiska agentowego Stirrup

Co to oznacza dla twórców AI

Dla osób budujących agentowe potoki kodowania i pracy wiedzy, MKA dodaje nową miarę wykraczającą poza rankingi oparte tylko na tekście, skoncentrowaną na wizualnych, wielogodzinnych zadaniach zawodowych. Wynik, w którym Gemini 4 Carbon zajął drugie miejsce pod względem jakości, kosztując sześć razy mniej niż model z najwyższym wynikiem, daje twórcom konkretny kompromis między kosztem a jakością do rozważenia przy wyborze modelu dla agentów, które muszą odczytywać wizualnie złożone pliki i tworzyć wyniki na poziomie zawodowym.

Dostępność

10 publicznych zadań MKA jest dostępnych na Hugging Face, a środowisko oceniające użyte do testowania modeli, Stirrup, jest otwartoźródłowe, dzięki czemu programiści mogą sprawdzić format zadań oraz pętlę agenta używaną do oceny dokładności faktograficznej i jakości wizualnej.

Źródła

• Introducing the Multimodal Knowledge Agent benchmark (Google, 10 listopada 2026, oficjalne)

Tekst przygotowany z pomocą AI wyłącznie na podstawie źródeł wymienionych powyżej. Zanim trafił na stronę, przeszedł automatyczną kontrolę dat, źródeł i wszystkich wersji językowych.