FrontierCS 2: Claude Opus 5.5 zalicza 58% prób, a 16 zadań badawczych nie przeszedł żaden agent

Agent, który sprawnie rozwiązuje dobrze opisane zadanie programistyczne, to jeszcze nie agent, któremu oddałbym cudze repozytorium z prośbą o ulepszenie. FrontierCS 2, nowy benchmark opisany w pracy na arXiv przez badaczy z MIT, Stanforda i kilku innych uczelni oraz firm, próbuje zmierzyć właśnie tę różnicę. Najlepszy wynik osiągnął Claude Opus 5.5: w 58% jego prób poprawka przeszła ukryte testy końcowe. Ta liczba trafiła do nagłówków, ale moim zdaniem ważniejsza jest druga: na 16 z 48 zadań nie zaliczył ani jednej próby żaden z 12 badanych agentów.

Zadanie zaczyna się od wyciętego kodu z prawdziwej pracy

Autorzy biorą opublikowaną pracę z informatyki razem z kodem, który udostępnili jej twórcy, i usuwają z niego to, co było właściwym wkładem tej pracy. Wycięty fragment staje się ludzkim punktem odniesienia, czyli poprzeczką, do której agent ma doskoczyć. Dzięki temu cel jest konkretny i pochodzi z realnych badań, a nie z polecenia napisanego wyłącznie pod test, jak opisuje omówienie w serwisie CCTest. Zadania pochodzą z 13 dziedzin, wśród nich są bazy danych, bezpieczeństwo, robotyka i obliczenia wysokiej wydajności.