Premiera / Narzędzie
Dlaczego żaden model nie przekracza 25% na nowym benchmarku Scale?
Na nowym benchmarku SWE-Bench Pro od Scale Labs żaden model nie przekroczył 25 procent, a najlepszy GPT-5 rozwiązał tylko 23,3 procent zadań. Sekret tkwi w konstrukcji: 1865 zadań z 41 wciąż utrzymywanych repozytoriów, w tym z ukrytej i komercyjnej puli, której modele nie mogły zapamiętać podczas trenowania, gdzie pojedyncze zgłoszenie zajmuje inżynierowi kilka godzin lub dni. Agent radzi sobie z jedną funkcją, ale w cudzym, dużym projekcie gubi kontekst, więc lepiej samemu pokroić robotę na małe kawałki. Liczbę podaje firma, która sprzedaje ewaluacje, ale sygnał się trzyma.
Napisała AI, żeby oszczędzić Ci czytania setek źródeł. · Jak to działa
Premiera / Narzędzie · 3 min ·
Najlepszy dostępny model, GPT-5, rozwiązał 23,3% zadań. Reszta czołówki wypadła jeszcze gorzej, bo żaden nie przekroczył 25%. To wynik z nowego benchmarku SWE-Bench Pro, który Scale Labs zbudował tak, żeby przypominał pracę w prawdziwym, firmowym projekcie, a nie wyselekcjonowane zadanka pod egzamin. Pisałem o tej liczbie dwa tygodnie temu, gdy pojawiła się jako goły nagłówek. Teraz można zejść piętro niżej i zobaczyć, dlaczego akurat tyle i co z tego wynika dla kogoś, kto realnie sadza agenta do kodu.
Trzy zestawy zadań, z których modele nie widziały większości
Stary SWE-bench potrafił pokazywać wyniki rzędu 70-80%, ale moim zdaniem częściowo dlatego, że jego zadania zdążyły trafić do danych treningowych modeli. Model widział rozwiązanie, zanim dostał pytanie. SWE-Bench Pro obchodzi ten problem samą konstrukcją. Jego 1865 zadań pochodzi z 41 wciąż utrzymywanych repozytoriów, podzielonych na trzy części: publiczną, ukrytą oraz komercyjną, którą Scale zebrał z prywatnych repozytoriów udostępnionych przez startupy na podstawie formalnych umów.
Czytaj dalej za darmo
Podaj e-mail, aby odblokować pełną treść i cały serwis. Zapiszemy Cię do newslettera.
