Model / Badania
FrontierCode 1.1: Claude Opus 5.5 wygrywa, ale przechodzi wszystkie blokady tylko w 58% prób
Claude Opus 5.5 wygrał benchmark FrontierCode 1.1 od Cognition z wynikiem 52,2%, choć wszystkie kontrole blokujące przeszedł tylko w 57,7% prób, a każda oblana blokada zeruje próbę mimo zielonych testów. Artificial Analysis sprawdziło 23 modele na zadaniach od opiekunów Celery czy Mattermost, które oceniają, czy ktoś przyjąłby taki pull request. Przewaga nad GPT-6.1 Sol to 3,1 punktu przy koszcie 10,15 dolara za zadanie wobec 0,81 dolara, więc do codziennej pracy agenta bardziej opłaca się tańszy model.
Napisała AI, żeby oszczędzić Ci czytania setek źródeł. · Jak to działa
Model / Badania · 4 min ·
Claude Opus 5.5 wygrał nowy ranking FrontierCode z wynikiem 52,2%, a mimo to w ponad czterech próbach na dziesięć oblewał co najmniej jedną z kontroli blokujących, przez co próba dostawała zero punktów. Wyniki opublikowało 12 października Artificial Analysis, niezależna firma porównująca modele AI, po przepuszczeniu 23 modeli przez benchmark, który nie pyta, czy testy przeszły, tylko czy ktoś przyjąłby taki pull request do projektu (MYUUU, note.com).
Sam benchmark przygotowało Cognition, firma stojąca za agentem programistycznym Devin. W lipcu, gdy Cognition pokazywało SWE-1.7, swój własny model do programowania, przeszkadzało mi, że chwali się wynikiem na teście, który samo napisało. Teraz testy uruchamia ktoś z zewnątrz i uważam to za realny postęp. Zadania nadal są jednak tajne, a część oceny wystawia inny model językowy, dlatego traktuję ten ranking jako przydatne porównanie modeli na wspólnych zasadach, a nie dowód, że agenty nadają się do pracy bez nadzoru.
Jak FrontierCode ocenia zmianę zrobioną przez agenta
Czytaj dalej za darmo
Podaj e-mail, aby odblokować pełną treść i cały serwis. Zapiszemy Cię do newslettera.
