Agent Cognition zabiera się do kodu po 18 krokach zamiast 48

Zanim SWE-1.7 dotknął pierwszej linijki kodu, wykonywał 48 kroków: czytał pliki, przeszukiwał je grepem, wypisywał zawartość katalogów i planował. Jego następca w trybie średnim zabiera się do roboty po 18. Obie liczby pochodzą z tej samej setki zadań, na której Cognition mierzy swoje modele: nowy model wypada na niej lepiej od poprzednika, a w tym trybie jedno zadanie kosztuje go o 81% mniej. W tym właśnie widzę sedno premiery SWE-2, którą Cognition ogłosiło 10 września: nie w wyższym wyniku na tablicy, tylko w krótszej drodze do niego.

Cognition zbudowało Devina, agenta, któremu opisujesz zadanie, a on sam przegląda repozytorium, pisze poprawkę i wystawia pull requesta. SWE-2 od dnia premiery napędza Devina w aplikacji na komputer i w CLI, a stopniowo wchodzi też do wersji przeglądarkowej i do Fusion, kolejnego trybu Devina. Sam model powstał przez dotrenowanie Kimi K3, modelu z otwartymi wagami o 2,8 biliona parametrów. Kimi K3 zbudowało Moonshot AI i to ono jako pierwsze przepuściło go przez uczenie ze wzmocnieniem pod programowanie agentowe. Cognition dołożyło własną rundę i wyciągnęło z niej, jak twierdzi, pięć do sześciu punktów ponad model bazowy.

Pisałem o SWE-1.7 w lipcu, że grzebie w kodzie dłużej i rusza więcej plików, niż trzeba. Identyczną skargę Cognition dostało od swoich użytkowników i tym razem odpowiedziało na nią całkiem dosłownie. Model chodzi w trzech trybach wysiłku: średnim, wysokim i maksymalnym. W średnim cała droga przez zadanie skróciła się na tej samej setce zadań ze 127 kroków do 53, a ta liczba obejmuje już wszystkie kroki, nie tylko te sprzed pierwszej edycji.