Model / Badania
Gemini 4 Argon prowadzi w jednym teście kodu z trzech
Gemini 4 Argon od Google'a zdobył 77,9% w DeepSWE v1.1 i wyprzedził GPT-6 Astrę oraz Claude Opusa 5.5, ale w tym samym zestawieniu przegrywa z Astrą o ponad 10 punktów we FrontierSWE v2, a z Opusem o dziewięć w Terminal-Bench 4.0. Według Bloomberga część pracowników Google'a podejrzewa, że model szlifowano pod testy bardziej niż pod prawdziwą pracę. Na razie Argona dostały tylko zespoły bezpieczeństwa z programu Fairwind, a stawki 2 i 10 dolarów za milion tokenów podwoją się po promocji, więc przed przesiadką lepiej sprawdzić go na własnym repozytorium.
Napisała AI, żeby oszczędzić Ci czytania setek źródeł. · Jak to działa
Model / Badania · 4 min ·
Google pokazał w środę, 30 września, Gemini 4 Argon, długo wyczekiwany flagowy model, i podparł premierę wynikiem, który świetnie wygląda w nagłówku: 77,9% na DeepSWE v1.1, więcej niż GPT-6 Astra od OpenAI i Claude Opus 5.5 od Anthropica. Większość deweloperów nie może jednak na razie nigdzie tego modelu uruchomić, a w dniu premiery Bloomberg napisał, że część pracowników Google'a wątpi, czy Argon programuje tak dobrze, jak sugerują tabelki. Moim zdaniem jedno i drugie prowadzi do tego samego wniosku: o przydatności Argona w codziennej pracy z kodem rozstrzygną testy na cudzych repozytoriach, nie benchmarki dobrane przez Google.
Przewaga w jednym teście z trzech
DeepSWE v1.1 sprawdza, czy agent potrafi wprowadzić w prawdziwym repozytorium zmianę rozpisaną na wiele kroków i oddać działającą łatkę za pierwszym podejściem. Argon wygrywa tu o niecałe cztery punkty z Opusem i Astrą, jak wynika z porównania Google'a, które rozpisał Winbuzzer. To realna przewaga, ale zmierzona w warunkach wybranych przez Google. Argon rozwiązywał zadania w mini-swe, prostym, standardowym programie, który prowadzi model krok po kroku przez kolejne czynności. Wynik Astry wzięto z tablicy wyników benchmarku, a wynik Opusa z dokumentacji Anthropica, więc każdy model miał wokół siebie inne narzędzia.
Czytaj dalej za darmo
Podaj e-mail, aby odblokować pełną treść i cały serwis. Zapiszemy Cię do newslettera.
