Ai2 wydaje XYBench, benchmark sprawdzający, czy AI rozwiązuje właściwy problem

Allen Institute for AI (Ai2) opublikował XYBench 13 listopada 2026 roku, benchmark obejmujący ponad 8000 pytań z rzeczywistych sytuacji, który sprawdza, czy asystenci AI rozwiązują dosłownie zadane pytanie użytkownika, czy jego rzeczywisty cel, czyli klasyczny problem XY. Szczegóły opisano w materiale XYBench: Helping with the problem behind the question.

Co zawiera XYBench

• Zbiór danych obejmuje 8115 pytań: 1557 ze Stack Overflow, 184 ze Stack Exchange, 102 ręcznie wybrane przykłady oraz 6272 z WikiHow.
• XYBench sprawdza, czy model rozwiązuje zadane pytanie użytkownika (Y), czy jego rzeczywisty cel (X), czyli klasyczny problem XY.
• Testowane modele to Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B oraz DeepSeek-V4 Pro.
• W przypadku tych modeli zadane pytanie jest poprawnie rozwiązywane w 75 do 86 procent przypadków.
• Rozwiązanie odnoszące się do rzeczywistego celu, podane bez podpowiedzi, pojawia się jedynie w 35 do 41 procent przypadków.
• W formacie wielokrotnego wyboru te same modele wybierają odpowiedź skoncentrowaną na celu w 71 do 84 procent przypadków.

Co to znaczy dla osób budujących z AI

Różnica między skutecznością odpowiadania na zadane pytanie a skutecznością podawania rozwiązania celu bez podpowiedzi liczbowo opisuje znany problem asystentów kodujących i agentów: odpowiadanie na dosłowne pytanie zamiast na rzeczywisty problem, który za nim stoi. Skoro te same modele w formacie wielokrotnego wyboru wybierają odpowiedź skoncentrowaną na celu znacznie częściej, niż generują ją samodzielnie, wyniki wskazują na rozbieżność między rozpoznawaniem a generowaniem, a nie na brak wiedzy. Ta różnica ma bezpośrednie znaczenie dla każdego, kto buduje lub ocenia narzędzia AI dla programistów, gdzie technicznie poprawna odpowiedź na źle postawione pytanie wciąż może pozostawić użytkownika bez rozwiązania.

Zespół wielu instytucji

XYBench powstał w Allen Institute for AI wspólnie z Carnegie Mellon University, NVIDIA oraz Johns Hopkins University. Artykuł opisujący benchmark zdobył nagrodę Best Resource Paper Award na konferencji EMNLP 2026.

Źródła

• XYBench: Helping with the problem behind the question (Allen Institute for AI / Hugging Face, 13 listopada 2026, oficjalne)

Tekst przygotowany z pomocą AI wyłącznie na podstawie źródeł wymienionych powyżej. Zanim trafił na stronę, przeszedł automatyczną kontrolę dat, źródeł i wszystkich wersji językowych.