Nowy Kimi K2: podwojone okno kontekstu i skok na SWE-Bench

Moonshot AI wypuścił kolejną wersję swojego otwartego modelu do kodowania, Kimi K2-Instruct-0905, i tym razem wyniki na testach podeszły blisko czołówki, a na jednym z nich nawet ją wyprzedziły. To wciąż ten sam model, o którym pisałem już kilka razy: bilion parametrów w architekturze mieszanki ekspertów, z których na każdy token pracuje tylko 32 miliardy. Reszta w danym momencie śpi, dzięki czemu model liczy się znacznie taniej, niż sugerowałby jego rozmiar.

Najważniejsza zmiana wobec lipcowej wersji to skok na SWE-Bench Verified, teście, który każe modelowi samodzielnie naprawić prawdziwy błąd w prawdziwym repozytorium: z 65,8% na 69,2%. To już praktycznie tyle samo, co osiąga Qwen3-Coder (69,6%), i tylko o trzy i pół punktu mniej niż Claude Sonnet 4 (72,7%). Podwoiło się też okno kontekstowe, ze 128 do 256 tysięcy tokenów, więc model utrzymuje teraz naraz w pamięci dwa razy więcej kodu i przy dłuższym zadaniu agentowym realnie mieści więcej roboty w jednym przebiegu.

Bardziej od samego skoku na SWE-Bench liczy się dla mnie jednak inny słupek. Na Terminal-Bench, który sprawdza, jak model radzi sobie sam przy terminalu, Kimi dobił do 44,5% i wyprzedził oba modele Anthropica: Claude Sonnet 4 ma tam 36,4%, a nawet mocniejszy Opus 4 zatrzymuje się na 43,2%. Nieczęsto się zdarza, żeby model z otwartymi wagami bił zamkniętą czołówkę na jej własnym boisku, więc ten jeden wynik zapamiętałbym wcześniej niż całą resztę tabeli.