Model / Badania
Artificial Analysis Intelligence Index v5: Claude Opus 5.5 prowadzi, a 60% wyniku to testy, których nikt nie sprawdzi
Claude Opus 5.5 prowadzi w nowym Intelligence Index v5 od Artificial Analysis z wynikiem 58 punktów, ale ważniejsza jest zmiana metody: od 28 października 60% wyniku pochodzi z testów o ukrytych pytaniach, a wcześniej było to około 45%. Otwarty Kimi K3.1 Pro spadł z 55 do 46 punktów, choć wygrywa jawny Terminal-Bench 4.0. Ukrycie pytań chroni przed skażeniem danych treningowych, tyle że nikt z zewnątrz nie sprawdzi już poprawności oceny, a przy wyborze modelu więcej mówią wynik FrontierCode i cena za zadanie.
Napisała AI, żeby oszczędzić Ci czytania setek źródeł. · Jak to działa
Model / Badania · 4 min ·
Claude Opus 5.5 od Anthropic nadal prowadzi w rankingu Artificial Analysis, z wynikiem 58 punktów, ale mnie bardziej zajmuje to, co firma przebudowała pod tą liczbą. Od wtorku 28 października 60% nowego Intelligence Index v5 opiera się na testach, których pytań albo poprawnych odpowiedzi nie widzi nikt spoza firmy i autorów testów. W poprzedniej wersji było to około 45%, podaje TechTimes. Uważam, że to dobry ruch, tyle że ma cenę: wyniku nie da się już sprawdzić z zewnątrz, więc trzeba uwierzyć temu, kto go wystawił.
Jedna liczba złożona z dziewięciu testów
W wersji 5 na jedną liczbę składa się dziewięć benchmarków podzielonych na cztery równe ćwiartki: pracę z dokumentami i danymi firmowymi, programowanie, naukę i wiedzę ogólną, jak opisuje metodologia. Ten zbiorczy wskaźnik, uśredniony ze wszystkich testów, publikuje Artificial Analysis, niezależna firma mierząca modele językowe. Kilka starszych testów wypadło, bo przestały odróżniać od siebie najlepsze modele.
Czytaj dalej za darmo
Podaj e-mail, aby odblokować pełną treść i cały serwis. Zapiszemy Cię do newslettera.
