Badania Microsoftu pokazują, że agenci AI ufają etykietom SemVer bardziej niż kodowi

Badanie Microsoftu wykazało, że Claude Sonnet 5.5 i inne agenty AI do kodowania pomijają sprawdzanie aktualizacji zależności, gdy zmiana jest oznaczona jako patch, nawet jeśli w kodzie znajduje się zmiana łamiąca kompatybilność.

Microsoft opublikował 9 listopada 2026 roku badanie, które pokazuje, że decyzje agentów AI do kodowania o weryfikacji aktualizacji zależności zależą od etykiety SemVer, a nie od rzeczywistej zmiany w kodzie. Badanie napisał Waldek Mastykarz, Principal Developer Advocate w Microsoft, a jego pełny opis znajduje się w artykule Do AI coding agents care about SemVer?.

Najważniejsze ustalenia badania

Pierwszy eksperyment objął około 1000 przebiegów na czterech modelach: Claude Sonnet 5.5, Claude Opus 5.5, GPT-6.1 Sol i GPT-6.1 Terra, testując identyczne aktualizacje łamiące kompatybilność oznaczone różnymi wersjami SemVer.
Claude Sonnet 5.5 sprawdził kod tylko w 2 z 10 przebiegów, gdy aktualizacja była oznaczona jako wydanie patch, w porównaniu z 10 z 10 przebiegów, gdy ta sama zmiana była oznaczona jako wydanie major.
Drugi eksperyment objął 540 przebiegów na sześciu modelach; Claude Haiku 5.5 scalał aktualizacje łamiące kompatybilność oznaczone jako patch bez sprawdzenia kodu w 37% przypadków, wobec 7% dla aktualizacji oznaczonych jako major.
W całym badaniu aktualizacje niełamiące kompatybilności zostały poprawnie scalone w 268 z 270 przebiegów, natomiast aktualizacje łamiące kompatybilność zostały poprawnie obsłużone tylko w 13 z 270 przebiegów.
Cztery z tych 13 pozornie poprawnych scaleń mimo to pozostawiły gałąź główną uszkodzoną, dwa przez Claude Haiku 5.5 i dwa przez GPT-6 Luna, wszystkie błędnie oznaczone jako patch lub minor.

Co to znaczy dla osób budujących z AI

Wyniki dają opiekunom bibliotek i zespołom korzystającym z agentowych przepływów aktualizacji zależności konkretny dowód na to, że dzisiejsze agenty do kodowania mogą być zwiedzione samą etykietą wersji, a nie treścią zmiany. Dla zespołów, które pozwalają agentom automatycznie scalać aktualizacje zależności, badanie wskazuje na potrzebę projektowania bram CI i polityk automatycznego scalania, które wymuszają sprawdzenie różnicy w kodzie niezależnie od etykiety nadanej przez pakiet nadrzędny, ponieważ sama etykieta okazała się niewiarygodnym sygnałem we wszystkich testowanych modelach.

Źródła

Do AI coding agents care about SemVer? (Microsoft, 9 listopada 2026, oficjalne)

Tekst przygotowany z pomocą AI wyłącznie na podstawie źródeł wymienionych powyżej. Zanim trafił na stronę, przeszedł automatyczną kontrolę dat, źródeł i wszystkich wersji językowych.