Kolumna z ceną w rankingu Cursora mówi więcej niż kolejność miejsc

Model Fable 5.1, puszczony w najmocniejszym ze swoich ustawień, zamyka 51,8% zadań w CursorBench 4.0 i to wystarcza na pierwsze miejsce. Cursor buduje ten test z prawdziwych sesji w swoim edytorze, czyli z poleceń niejednoznacznych, rozrzuconych po wielu plikach, przy których człowiek najpierw musi zgadnąć, o co właściwie prosił autor zgłoszenia. W tabeli stoją 43 konfiguracje modeli, a tylko ta najlepsza, podpisana Fable 5.1 Max, domyka połowę roboty.

Kolejność w tabeli interesuje mnie jednak mniej niż kolumna obok. Cursor podaje przy każdym wierszu średni koszt jednego zadania, policzony z cennika za tokeny, i dopiero razem z nim wynik zaczyna cokolwiek znaczyć dla kogoś, kto płaci rachunek. Pierwsze miejsce kosztuje 17,28 dolara od zadania, więc zespół, który przepuszcza przez agenta 20 zgłoszeń dziennie, zostawia w tej kolumnie ponad 340 dolarów, zanim skończy mu się dzień.

Wersja 4.0 weszła 10 września i dołożyła zadania, których nie da się zamknąć jedną poprawką. Nowe zadania każą modelowi przebudowywać kod w dłuższej sesji, czyli pamiętać własną decyzję z jej początku i nie zaprzeczyć jej kilka plików później. Obok tego doszło pilnowanie kilku spraw naraz i trzymanie się konwencji, którą projekt przyjął wcześniej. Lista zmian nazywa to problemami long-horizon, a poprzednie wersje dochodziły tu stopniowo: w marcu sprawdzały edycję, przebudowę kodu i naprawę błędów, w maju rozumienie cudzego repozytorium i recenzję kodu, w lipcu trzymanie się poleceń.