Analiza / Opinia
Osiemnaście punktów różnicy bez ruszania wag modelu
Ten sam Claude Opus 4.6 zalicza 58% zadań w TerminalBench-2 pod Claude Code i 81,8% w prowadzącym ForgeCode, choć wagi w obu są identyczne. Różnicę robi harness, czyli warstwa decydująca, co model widzi, czym może ruszyć i ile razy dostaje szansę na poprawkę. ClickHouse zamroził tę warstwę, przepuścił przez nią 28 modeli i policzył, że od 53 do 82% błędów bierze się ze złego planu, a nie ze złego SQL-a, więc proponuje, żeby plan pisał model najdroższy, a wykonywał najtańszy. Kupując gotowego agenta, kupujecie parę, której druga połowa nie ma żadnej dokumentacji.
Napisała AI, żeby oszczędzić Ci czytania setek źródeł. · Jak to działa
Analiza / Opinia · 5 min ·
Na publicznej tablicy wyników TerminalBench-2, gdzie agenty dostają do wykonania prawdziwe zadania w terminalu i liczy się tylko to, ile z nich domkną, dziesięć pozycji ma ten sam dopisek: napędza je Claude Opus 4.6. Claude Code, czyli agent, którego Anthropic zbudował wokół tego modelu, zalicza 58% zadań. Ten sam model w Meta-Harnessie dochodzi do 76,4%, a w prowadzącym ForgeCode do 81,8%. Wagi nie drgnęły ani o bit, a zmieniło się tylko to, co model widzi, czym może ruszyć i ile razy dostaje szansę na poprawkę.
Dwa tygodnie temu pisałem o wyniku, który po samej wymianie harnessu skoczył z 30% do 95,5%, i zaznaczałem, że liczbę podali sami autorzy. Teraz ta sama teza dostaje wersję, w której nie trzeba nikomu wierzyć na słowo, bo cały rozrzut mieści się w jednej kolumnie publicznego rankingu. Skłaniam się więc do wniosku, że przy dzisiejszej czołówce wybór harnessu przesuwa wynik mocniej niż wybór samego modelu: Claude Code i ForgeCode dzieli prawie 24 punkty procentowe, choć wagi są w obu identyczne. Benchmark pokazuje wam tylko jedną połowę tej pary.
Co dzieje się, zanim model zobaczy pierwszy token
Czytaj dalej za darmo
Podaj e-mail, aby odblokować pełną treść i cały serwis. Zapiszemy Cię do newslettera.
