SmartDigest.ai Tworzone przez AI, żeby nadążyć za AI
Zapisz się

Zapisz się do newslettera

Co tydzień najważniejsze newsy AI prosto na Twój e-mail. Wybierz tematy, które Cię interesują.

Poradnik / Praktyka

Gemma 4 26B sprawdza się w lokalnych agentach. Google trzyma najszybszą wersję dla siebie.

Gemma 4 26B-A4B aktywuje tylko 3,8 miliarda parametrów na token, więc generuje z prędkością modelu 4B, a na AIME 2026 wyciąga 88,3%, punkt poniżej dużo cięższego 31B dense. Sześć specjalnych tokenów do narzędzi wbitych prosto w architekturę robi z niej pierwszy otwarty model, z którym lokalny agent realnie wie, kiedy zawołać funkcję. Tyle że głowice Multi-Token Prediction, dające niemal dwukrotne przyspieszenie, Google zostawił sobie w LiteRT. Wagi na Hugging Face są na Apache 2.0, ale najszybsza wersja zostaje w prywatnym stosie.

Napisała AI, żeby oszczędzić Ci czytania setek źródeł.  ·  Jak to działa

Poradnik / Praktyka  ·  4 min  · 

Gemma 4 26B sprawdza się w lokalnych agentach. Google trzyma najszybszą wersję dla siebie.
Ilustrację przygotowała AI.

Adam Conway z XDA testuje Gemmę 4 od pierwszego dnia i z czterech modeli, które Google wypuścił 2 kwietnia, zostawia jeden: 26B-A4B w wersji Mixture of Experts. To nie jest najmądrzejszy model, jaki ma na dysku. Po prostu ten, do którego sięga, kiedy ma coś do roboty od ręki.

Liczba 26B mówi tyle, co cena katalogowa: tyle waży model na dysku. Sercem sprawy jest 3,8 miliarda. Tyle parametrów aktywuje się na pojedynczy token podczas inferencji. Reszta wag czeka w pamięci jako specjaliści, których model na tym konkretnym wejściu po prostu nie woła. Efekt: w prędkości generowania zachowuje się jak model 4B, jakościowo trzyma się wyższej półki. W Q4_K_M całość zajmuje około 18 GB pamięci, a na AIME 2026 dostaje 88,3%, jeden punkt mniej niż 31B dense, który gra dokładnie w tej samej lidze.

Do tego 256 tysięcy tokenów kontekstu, więc całe repozytorium albo długi dokument idą w jednym promptcie, bez wymyślania strategii dzielenia plików. Wagi pojawiły się od pierwszego dnia w Ollamie, LM Studio, vLLM, llama.cpp i MLX, na licencji Apache 2.0. Konwersji na własną rękę robić nie trzeba.

Czytaj dalej za darmo

Podaj e-mail, aby odblokować pełną treść i cały serwis. Zapiszemy Cię do newslettera.

Powiązane

Google przerabia Gemmę 4 na model dyfuzyjny, a o cenie za jakość milczy
Model / Badania

Google przerabia Gemmę 4 na model dyfuzyjny, a o cenie za jakość milczy

3 min

Google DeepMind przerobił Gemmę 4 na model dyfuzyjny o nazwie DiffusionGemma, który zamiast pisać słowo po słowie odsłania średnio 20 tokenów na przejście i osiąga około 1500 tokenów na sekundę na jednej karcie H100, wyprzedzając nawet modele ze spekulatywnym dekodowaniem. Pod spodem siedzi wariant mixture-of-experts z 25,2 miliarda parametrów, z których na token aktywuje się tylko 3,8 miliarda. Kłopot w tym, że raport chwali się wyłącznie prędkością i nie podaje żadnej twardej liczby o jakości, zwłaszcza na kodzie.

Gemma 4 rusza lokalnie na pięć sposobów, a przejście z chmury to jedna linijka
Poradnik / Praktyka

Gemma 4 rusza lokalnie na pięć sposobów, a przejście z chmury to jedna linijka

3 min

Gemma 4 od Google DeepMind ma już wagi na Hugging Face, a kurs Piyusha Thakura na PyImageSearch pokazuje pięć sposobów odpalenia jej lokalnie: Ollama, llama.cpp, MLX, LM Studio i Transformers.js, w większości bez sieci. Cztery wystawiają ten sam interfejs sieciowy co OpenAI, więc prototyp z chmury przenosisz na własny sprzęt, podmieniając jedną linijkę. Sens to nie sam offline, tylko prywatność danych i brak opłaty za token. Wszystkie przykłady chodzą jednak na najlżejszej wersji E2B, więc dowodzą, że mały model wchodzi gładko, a nie że domowy sprzęt udźwignie cięższe warianty.

Google uczy Gemmę pisać całymi blokami i wyciąga z jednej karty 1500 tokenów na sekundę
Model / Badania

Google uczy Gemmę pisać całymi blokami i wyciąga z jednej karty 1500 tokenów na sekundę

4 min

Google DeepMind opisał 31 lipca DiffusionGemmę, eksperymentalny model, który zamiast pisać token po tokenie bierze cały blok 256 tokenów jako szum i w kilku przejściach wygładza go w tekst. Na jednej karcie H100 daje to około 1500 tokenów na sekundę, bo odsłania średnio 20 tokenów na przejście zamiast jednego. To dostrojona Gemma 4 w wariancie mixture-of-experts, przerobiona na model dyfuzyjny za mniej niż 10% pierwotnego budżetu tokenów i wypuszczona z otwartymi wagami. Tyle że raport chwali się prędkością, a nie podaje ani jednej liczby, ile jakości kosztuje szybki tryb dyfuzyjny.