Sto zadań z bezpieczeństwa, żaden model powyżej połowy

Token dostępu do aplikacji da się unieważnić na trzy sposoby: użytkownik się wylogowuje, administrator kasuje token ręcznie albo ktoś usuwa całe konto, do którego ten token należał. Agent AI dostał ten kod i polecenie, żeby zamknąć dziurę, przez którą unieważnianie nie działa. Dziurę znalazł. Poprawił dwie ścieżki z trzech i dostał za to zero punktów, bo trzecia dalej wypuszczała w świat ważny token.

To jedno ze 100 zadań w CWE-bench, zestawie testów, który firma Collinear AI pokazała 2 września. Zamiast sprawdzać, czy agent dopisze nową funkcję, CWE-bench patrzy, czy załata podatność w cudzym, prawdziwym kodzie, i to w 54 rodzajach błędów bezpieczeństwa, łącznie z tymi, które branża od lat uznaje za najgroźniejsze w aplikacjach webowych. Najlepszy wynik na premierowej liście to 47% dla Claude Fable 5 przy maksymalnym poziomie rozumowania. Osiemnastu zadań ze stu nie rozwiązał żaden z przetestowanych modeli.

Collinear tłumaczy to asymetrią, która brzmi banalnie, dopóki nie przełoży się jej na punkty: atakującemu wystarczy jedno niezałatane miejsce, a obrońca musi mieć rację wszędzie. Zgadzam się i dlatego procent z tego testu znaczy coś innego niż procent ze SWE-bench. Tam agent, który zrobił cztery zadania z pięciu, jest w czterech piątych przydatny, a tutaj agent, który załatał cztery miejsca z pięciu, nie załatał podatności wcale.