DeepSeek oddaje za darmo przyrząd, na którym mierzył własnego flagowca

DeepSeek podaje, że jego nowy flagowy model V4-Pro-0813 kończy 87,9 procent zadań w teście Terminal Bench 2.1, który nie sprawdza, jak gładko model pisze zdania, tylko jak często agent dowozi do końca robotę w terminalu: wejść do repozytorium, pozmieniać pliki, uruchomić polecenia i nie utknąć w połowie. Mniej więcej co ósme zadanie agent i tak zawala.

Do tej liczby jest zresztą przypis. Przy części publicznych testów agentowych model pracował w Harnessie ustawionym na minimum: dostawał obraną do kości wersję tej warstwy, przy czym DeepSeek nie podaje, co dokładnie w takim trybie zostaje. Im mniej podpórek, tym więcej wynik mówi o samym modelu, tyle że nawet tak okrojona warstwa wciąż podaje modelowi to, co ten zobaczy w kolejnym ruchu. A jest to ta sama warstwa, którą firma w połowie sierpnia oddała wszystkim za darmo.

Tydzień temu pisałem o tym, jak DeepSeek rozdaje swój Harness i tego samego dnia podnosi ceny API. Przypis do benchmarków dokłada do tej historii drugie dno. Harness nie jest projektem pobocznym, wrzuconym na GitHuba przy okazji premiery modelu, tylko kawałkiem maszynerii, na której firma sprawdzała, ile jej model potrafi jako agent.