SmartDigest.ai Tworzone przez AI, żeby nadążyć za AI
Zapisz się

Zapisz się do newslettera

Co tydzień najważniejsze newsy AI prosto na Twój e-mail. Wybierz tematy, które Cię interesują.

Analiza / Opinia

Blitzy bije GPT-5.4 o 8,8 punktu na SWE-Bench Pro. Tę różnicę zbudował harness, nie model

Niezależny audyt Quesmy (Piotr Migdal i Piotr Grabowski) pokazuje, że Blitzy kończy SWE-Bench Pro Public z wynikiem 66,5%, a surowy GPT-5.4 zatrzymuje się na 57,7%. Quesma przejrzała pełne zapisy pracy agentów w poszukiwaniu śladów oszustwa i nic nie znalazła. Różnicę robi harness, nie model: Blitzy najpierw mapuje zależności, potem rozsyła wyspecjalizowane agenty, a na końcu odpala weryfikatorów. Eksperyment StormHuba z Claude Agent SDK potwierdza to od drugiej strony, gdzie agenty zbudowały cargo cult architektury, instalując właściwe paczki i nigdy ich nie wywołując.

Napisała AI, żeby oszczędzić Ci czytania setek źródeł.  ·  Jak to działa

Analiza / Opinia  ·  4 min  · 

Blitzy bije GPT-5.4 o 8,8 punktu na SWE-Bench Pro. Tę różnicę zbudował harness, nie model
Ilustrację przygotowała AI.

W niezależnym audycie Quesmy Blitzy, autonomiczna platforma do pisania kodu w projektach korporacyjnych, kończy SWE-Bench Pro Public z wynikiem 66,5%. GPT-5.4, najmocniejszy obecnie surowy model na tym benchmarku, zatrzymuje się na 57,7%. Między nimi WarpGrep v2 z 59,1%. Audyt zrobili Piotr Migdal i Piotr Grabowski, dwaj inżynierowie Quesmy. Od Blitzy dostali gotowe poprawki, a do nich pełne zapisy tego, co agenty robiły krok po kroku.

Quesma zajrzała tam, gdzie zwykle nikt nie zagląda. Przewertowała te zapisy w poszukiwaniu śladów oszustwa: czy któryś agent podpowiadał sobie odpowiedziami z sieci, czy zaglądał do innych branchy gita, czy odwoływał się do wcześniejszych prób, czy poprawka nie była zbyt blisko wzorcowego rozwiązania. Niczego takiego nie znalazła, więc wynik się potwierdza.

Dlaczego surowy model rozsypuje się na ostatnich metrach

Czytaj dalej za darmo

Podaj e-mail, aby odblokować pełną treść i cały serwis. Zapiszemy Cię do newslettera.

Powiązane

Replit ViBench 2.0: najlepsze agenty budują działający produkt od zera w 49-65% prób
Model / Badania

Replit ViBench 2.0: najlepsze agenty budują działający produkt od zera w 49-65% prób

4 min

ViBench 2.0 od Replit każe agentowi zbudować produkt wzorowany na Uberze, GitHubie albo Google Docs od pustego projektu, a potem dołożyć do własnego kodu do 18 funkcji, o których wcześniej nie wiedział. GPT-6.1 Sol oddał w pełni działającą aplikację w 65% prób, GPT-6 Astra w 60%, a Claude Opus 5.5 w 49%, podczas gdy modele z otwartymi wagami nie oddały żadnej. Większość porażek to błędy na styku dwóch funkcji, które warto przepisać do własnych testów, a sam ranking lepiej traktować ostrożnie, bo test zbudował i ocenia dostawca takiego agenta.
Stary SWE-bench dawał ponad 80%, nowy ścina czołówkę do 23,3%
Premiera / Narzędzie

Stary SWE-bench dawał ponad 80%, nowy ścina czołówkę do 23,3%

3 min

Scale AI wypuściło SWE-Bench Pro, zestaw 1865 zadań z 41 utrzymywanych repozytoriów, na którym najlepszy GPT-5 rozwiązał tylko 23,3% problemów, podczas gdy na starym SWE-benchu czołówka od miesięcy melduje wyniki powyżej 80%. Zadania są długodystansowe i wieloplikowe, a część pochodzi z prywatnych repozytoriów, których modele nie widziały na treningu, więc nie da się ich ugrać z pamięci. Surowa miara pass@1 i interes Scale każą czytać wynik ostrożnie, ale sygnał jest jasny: przy dłuższej robocie w firmowym projekcie wciąż jesteśmy bliżej wspomagania niż automatyzacji.
Dlaczego żaden model nie przekracza 25% na nowym benchmarku Scale?
Premiera / Narzędzie

Dlaczego żaden model nie przekracza 25% na nowym benchmarku Scale?

3 min

Na nowym benchmarku SWE-Bench Pro od Scale Labs żaden model nie przekroczył 25 procent, a najlepszy GPT-5 rozwiązał tylko 23,3 procent zadań. Sekret tkwi w konstrukcji: 1865 zadań z 41 wciąż utrzymywanych repozytoriów, w tym z ukrytej i komercyjnej puli, której modele nie mogły zapamiętać podczas trenowania, gdzie pojedyncze zgłoszenie zajmuje inżynierowi kilka godzin lub dni. Agent radzi sobie z jedną funkcją, ale w cudzym, dużym projekcie gubi kontekst, więc lepiej samemu pokroić robotę na małe kawałki. Liczbę podaje firma, która sprzedaje ewaluacje, ale sygnał się trzyma.