Red Hat wypuścił RH SWE-bench: Claude Opus 4.6 rozwiązuje 63,3% zadań w Go, Pythonie i C

Red Hat opublikował 21 października własny benchmark dla agentów kodujących, RH SWE-bench, i na szczycie tabeli postawił Claude Opus 4.6 uruchomionego w Claude Code, z 63,3% rozwiązanych zadań. Ta liczba mówi sporo o tym, jak agenty radzą sobie z kodem w Go z ekosystemu Kubernetesa, a dużo mniej o kodzie, który pisze przeciętny zespół. Najwięcej dowiedziałem się jednak nie z samej tabeli, tylko z tego, co autorzy odkryli po drodze: ten sam model potrafi wypaść zupełnie inaczej zależnie od narzędzia, w którym go uruchomiono.

Najpierw punkt odniesienia. Oryginalny SWE-bench działa prosto: agent dostaje opis błędu i repozytorium, ma napisać poprawkę, a wynik liczy się dopiero wtedy, gdy przechodzą testy. Kolejne warianty dokładały nowe języki i typy zadań, ale według Red Hata większość zadań nadal jest w Pythonie, a żaden z tych wariantów nie bierze się za repozytoria, nad którymi pracują zespoły w dużych firmach.

Co Red Hat włożył do 357 zadań