SmartDigest.ai Tworzone przez AI, żeby nadążyć za AI
Zapisz się

Zapisz się do newslettera

Co tydzień najważniejsze newsy AI prosto na Twój e-mail. Wybierz tematy, które Cię interesują.

Model / Badania

Zamba2-7B-Instruct: szybki i oszczędny, ale słaby w rozumowaniu

Zyphra wypuściła Zamba2-7B-Instruct, czatowy model zbudowany głównie z bloków Mamba2, który stawia na szybkość i niskie zużycie pamięci zamiast na rozumowanie. Na IFEval, sprawdzającym trzymanie się instrukcji, dostaje 69,95, mocno jak na ten rozmiar, ale na MATH ma tylko 13,57, a na doktoranckim GPQA 10,28, poniżej progu samego zgadywania. Niskie opóźnienie dostaniesz dopiero po skompilowaniu bibliotek mamba-ssm i causal-conv1d, bez nich przewaga architektury znika. To wąskie narzędzie do wykonywania poleceń tam, gdzie liczy się pamięć i każda milisekunda, a nie do rozwiązywania łamigłówek.

Napisała AI, żeby oszczędzić Ci czytania setek źródeł.  ·  Jak to działa

Model / Badania  ·  3 min  · 

Zamba2-7B-Instruct: szybki i oszczędny, ale słaby w rozumowaniu
Ilustrację przygotowała AI.

Zyphra wypuściła kartę modelu Zamba2-7B-Instruct, czyli oficjalną dokumentację czatowego modelu o siedmiu miliardach parametrów. Cała jej treść sprowadza się do jednego napięcia: ten model ma być szybki i oszczędny, a nie mądry. Jeśli budujecie lokalnego asystenta, który podpowiada w edytorze albo generuje opisy commitów na laptopie bez mocnej karty, i liczy się dla was czas odpowiedzi oraz zużycie pamięci, to propozycja warta uwagi. Do zadań, w których model ma coś naprawdę wykombinować, na przykład rozgryźć trudny błąd albo zaprojektować architekturę, raczej nie tędy droga.

Dlaczego to ma być szybkie

Klasyczny transformer, architektura stojąca za większością dużych modeli językowych, przy każdym kolejnym słowie ogląda cały dotychczasowy tekst. Im dłuższa rozmowa, tym więcej pamięci i czasu to kosztuje. Modele stanowe, takie jak Mamba2, idą na skróty: zamiast wracać do całej historii, trzymają jej skompresowany "stan" i aktualizują go krok po kroku. Dzięki temu generują tekst szybciej i mieszczą się w mniejszej pamięci.

Czytaj dalej za darmo

Podaj e-mail, aby odblokować pełną treść i cały serwis. Zapiszemy Cię do newslettera.

Powiązane

Zyphra wypuszcza Zamba2-1.2B, czatowy model, który zmieści się na laptopie
Model / Badania

Zyphra wypuszcza Zamba2-1.2B, czatowy model, który zmieści się na laptopie

3 min

Zyphra wypuściła na HuggingFace Zamba2-1.2B-instruct, czatowy model na 1,2 miliarda parametrów, który uruchomisz lokalnie bez płacenia za API. Ciekawa jest architektura: hybryda warstw Mamba2 ze współdzielonymi blokami uwagi sprawia, że koszt pamięci nie rośnie z długością rozmowy i model realnie mieści się na laptopie. Firma chwali się wynikami 59,53 na MT-Bench i 41,45 na IFEval, ale porównuje się głównie z modelami poniżej dwóch miliardów parametrów, a benchmarku programistycznego brakuje zupełnie. Traktuję to na razie jako ciekawostkę, nie narzędzie do kodu.
MiniCPM5-2B naprawia więcej błędów w kodzie niż model dwa razy od niego większy
Model / Badania

MiniCPM5-2B naprawia więcej błędów w kodzie niż model dwa razy od niego większy

4 min

OpenBMB wypuściło 7 września MiniCPM5-2B, model o 2,52 miliarda parametrów na licencji Apache 2.0, który na SWE-bench Verified wykręca 46,4 punktu wobec 33,6 dla dwa razy większego Qwen3.5-4B. Całą tabelę policzył jednak producent, więc kierunek biorę poważnie, a rozmiary przewag traktuję jako powód do własnego testu. Model dobrze wybiera następny krok, ale gubi się w dłuższym biegu, bo na Terminal-Bench v2.1 ma 8,6 wobec 25,8, a w karcie brakuje pomiaru szybkości na jakimkolwiek nazwanym urządzeniu. Razem z wagami wyłożono za to dane treningowe, co przy premierach modeli widuje się rzadko.
Agent Cognition zabiera się do kodu po 18 krokach zamiast 48
Model / Badania

Agent Cognition zabiera się do kodu po 18 krokach zamiast 48

4 min

SWE-2, nowy model Cognition napędzający Devina, zabiera się do edycji kodu po 18 krokach zamiast 48, a całą drogę przez zadanie skrócił ze 127 kroków do 53, bo koszt wpisano wprost do funkcji nagrody podczas uczenia. Na własnym benchmarku firmy wypada niemal jak Fable 5.1, 50,0% wobec 50,9%, i to o 64% taniej, ale na trudniejszym Terminal-Bench 4 zostaje daleko w tyle z wynikiem 27,3%. Cennika ani osobnego API nie ma, model dostajesz wyłącznie razem z Devinem, więc przewagi kosztowej nikt z zewnątrz na razie nie sprawdzi u siebie.