Endor Labs potwierdza lukę z LSCBench: Claude Code z Fable 5.1 pisze bezpieczny kod w 37,4% zadań

Tydzień temu pisałem o LSCBench, benchmarku badaczy z NUS i Alibaby, w którym najlepszy agent, Claude Fable 5, oddawał kod działający i zarazem bezpieczny tylko w 25,1% zadań, choć testy funkcjonalne zaliczał w ponad 90% przypadków. Wtedy była to liczba z jednej publikacji na arXiv. Od tamtej pory przeszła dwa sprawdziany: ktoś przeliczył ranking z surowych danych, a firma Endor Labs, która zajmuje się bezpieczeństwem oprogramowania, opublikowała własną ligę na zupełnie innych zadaniach. Oba pomiary pokazują to samo, więc lukę między "działa" a "jest bezpieczne" traktuję już jako solidny wynik, a nie efektowny nagłówek.

Ranking policzony drugi raz

Autorzy LSCBench zrobili coś, co w publikacjach o ocenie modeli zdarza się rzadko. Razem z tabelą udostępnili w repozytorium na GitHubie 2700 pełnych zapisów pracy agentów, krok po kroku, a przy każdym przebiegu opublikowali wynik, zaliczony albo nie, więc każdy może policzyć ranking sam. Cole Halton, który na DEV Community pisze o ocenianiu narzędzi do przeglądu kodu, pobrał te wyniki i przeliczył ranking od zera. Pięć z sześciu wierszy zgodziło się z publikacją co do dziesiątej części procenta. Jedyna rozbieżność dotyczy Kimi-K3, który w opublikowanych wynikach ma 92,2% zaliczonych testów funkcjonalnych, a w artykule 91,3%, co oznacza różnicę czterech zadań na 450 i nie zmienia żadnej pozycji w rankingu.