SmartDigest.ai Tworzone przez AI, żeby nadążyć za AI
Zapisz się

Zapisz się do newslettera

Co tydzień najważniejsze newsy AI prosto na Twój e-mail. Wybierz tematy, które Cię interesują.

Model / Badania

MiniCPM5-2B naprawia więcej błędów w kodzie niż model dwa razy od niego większy

OpenBMB wypuściło 7 września MiniCPM5-2B, model o 2,52 miliarda parametrów na licencji Apache 2.0, który na SWE-bench Verified wykręca 46,4 punktu wobec 33,6 dla dwa razy większego Qwen3.5-4B. Całą tabelę policzył jednak producent, więc kierunek biorę poważnie, a rozmiary przewag traktuję jako powód do własnego testu. Model dobrze wybiera następny krok, ale gubi się w dłuższym biegu, bo na Terminal-Bench v2.1 ma 8,6 wobec 25,8, a w karcie brakuje pomiaru szybkości na jakimkolwiek nazwanym urządzeniu. Razem z wagami wyłożono za to dane treningowe, co przy premierach modeli widuje się rzadko.

Napisała AI, żeby oszczędzić Ci czytania setek źródeł.  ·  Jak to działa

Model / Badania  ·  4 min  · 

MiniCPM5-2B naprawia więcej błędów w kodzie niż model dwa razy od niego większy
Ilustrację przygotowała AI.

OpenBMB wypuściło 7 września MiniCPM5-2B, model o 2,52 miliarda parametrów z wagami na licencji Apache 2.0, i od razu posadziło go w tabeli obok Qwen3.5-4B, który ma tych parametrów mniej więcej dwa razy tyle. Rozstrzyga tam SWE-bench Verified, benchmark nazwany od inżynierii oprogramowania: model dostaje prawdziwy błąd z prawdziwego repozytorium i ma go poprawić tak, żeby testy przeszły. Dopisek Verified znaczy, że człowiek przejrzał wcześniej te zgłoszenia i zostawił tylko takie, które faktycznie da się rozwiązać. Mniejszy wykręca tu 46,4 punktu na 100 możliwych, większy 33,6. Tej różnicy nie da się zrzucić na szum pomiarowy.

Zanim jednak przepniesz cokolwiek na nowe wagi: całą tę tabelę policzył producent, na własnym sprzęcie, a tylko część wyników przepisał od Artificial Analysis, firmy, która mierzy modele niezależnie od ich autorów. Kierunek biorę poważnie, dokładne rozmiary przewag już nie, więc czytam te liczby jako powód do własnego testu, a nie jako wynik. Rzecz, która w tej premierze robi największą różnicę, leży zresztą poza tabelą.

Osiem wersji i żaden własny kod w silniku

Czytaj dalej za darmo

Podaj e-mail, aby odblokować pełną treść i cały serwis. Zapiszemy Cię do newslettera.

Powiązane

Samoewolucja M2.7? Pod spodem sto rund prób i błędów
Model / Badania

Samoewolucja M2.7? Pod spodem sto rund prób i błędów

3 min

MiniMax wypuścił M2.7 i oparł całą premierę na jednym słowie: samodoskonaleniu. Pod spodem kryje się pętla ponad stu rund, w których model sam przepisywał kod swojego harnessu, odpalał testy i cofał nieudane zmiany, aż wyciągnął 30% poprawy na wewnętrznych zestawach. Na MLE Bench Lite od OpenAI zdobył średnio 66,6% medali, za Opusem 4.6 (75,7%) i GPT-5.4 (71,2%), a w samym kodowaniu ma 56,22% na SWE-Pro. Problem w tym, że wszystkie te liczby zmierzył sam MiniMax, bez niezależnej weryfikacji.
MiniMax dorównuje Opusowi w kodzie za jedną dziesiątą ceny
Model / Badania

MiniMax dorównuje Opusowi w kodzie za jedną dziesiątą ceny

3 min

MiniMax wypuścił model M2.5, który na SWE-Bench Verified osiąga 80,2%, minimalnie przed Claude Opus 4.6, ale za jedną dziesiątą jego ceny. Liczy się też szybkość: serwowany ze stu tokenami na sekundę kończy zadanie w 22,8 minuty, tyle samo co Opus, więc pierwszy raz tani model nie jest jednocześnie wolny. To otwiera drogę agentom działającym w tle bez przerwy. Większość benchmarków MiniMax zmierzył jednak sam, więc M2.5 to dziś gotowy kandydat do podmiany Opusa, ale obietnicę samodoskonalącego się M2.7 lepiej traktować ostrożnie.
Rozmiar modelu przestał przewidywać jego prędkość
Poradnik / Praktyka

Rozmiar modelu przestał przewidywać jego prędkość

4 min

Model Laguna S 2.1 ma 118 miliardów parametrów, ale generuje tekst szybciej niż czterokrotnie mniejszy Qwen3.6-27B, bo o prędkości decyduje nie całkowity rozmiar, tylko liczba aktywnych parametrów w architekturze MoE. Mori Shige z Classmethod przez pół roku mierzył lokalne modele na DGX Spark i zostały mu z tego dwa odruchy: czytać liczbę aktywnych parametrów zamiast łącznej wagi, a ściągając wersję 4-bitową, sprawdzić dwóch wydawców, bo ta sama kwantyzacja potrafi dać nawet 55% różnicy w prędkości. Dekodowanie spekulatywne podbiło Qwen3.6-35B-A3B o jakieś 40%.