SmartDigest.ai Tworzone przez AI, żeby nadążyć za AI
Zapisz się

Zapisz się do newslettera

Co tydzień najważniejsze newsy AI prosto na Twój e-mail. Wybierz tematy, które Cię interesują.

Model / Badania

Model mieści się na laptopie, ale nie uruchomisz go na zwykłym llama.cpp

PrismML wypuścił 17 września Bonsai 2 27B, czyli model Alibaby ściśnięty do 5,9 GB z deklarowaną stratą 1,8% na benchmarkach, bo każda waga przyjmuje w nim już tylko trzy wartości zamiast szesnastobitowej liczby. Brakujący punkt procentowy jest tu najmniej ciekawy: prawdziwą przeszkodą jest to, że główna gałąź llama.cpp tego formatu nie obsługuje, więc do czasu przyjęcia poprawki trzeba korzystać z forka PrismML. Domyślna instalacja waży zresztą 7,8 GB razem z modułem do obrazów, a długa rozmowa w oknie 256 tysięcy tokenów potrafi zająć w pamięci więcej miejsca niż sam model.

Napisała AI, żeby oszczędzić Ci czytania setek źródeł.  ·  Jak to działa

Model / Badania  ·  3 min  · 

Model mieści się na laptopie, ale nie uruchomisz go na zwykłym llama.cpp
Ilustrację przygotowała AI.

Tydzień temu pisałem, ile pamięci naprawdę potrzebuje Qwen3.8 27B: pełny model waży prawie 48 GB, po ścięciu wag do czterech bitów schodzi do niespełna 16 GB i dopiero wtedy mieści się na domowej karcie. PrismML wypuścił 17 września Bonsai 2 27B, tę samą sieć Alibaby upakowaną w 5,9 GB, z deklarowaną stratą 1,8% na zbiorczym wyniku benchmarków. Liczba, którą wszyscy będą cytować, to te 98,2%. Nie ona jednak zdecyduje o tym, czy ktokolwiek uruchomi ten model u siebie.

Do tych 5,9 GB trzeba dopisać gwiazdkę. Domyślnie skrypt instalacyjny ściąga cięższe upakowanie, 7,8 GB razem z modułem do obrazów, bo szybciej przetwarza prompt. Kontekst to osobny rachunek: okno sięga 256 tysięcy tokenów, ale długa rozmowa potrafi zająć w pamięci więcej miejsca niż sam model, więc obietnica o laptopie dotyczy modelu, nie całej sesji.

Plik chudnie mniej więcej dziewięciokrotnie, bo PrismML pozwala każdej wadze przyjąć już tylko trzy wartości: plus jeden, minus jeden albo zero, zamiast szesnastobitowej liczby, jaką sieć zapamiętała podczas trenowania. Reszta precyzji znika, a model dalej rozwiązuje zadania matematyczne z dokładnością do pół punktu względem pełnej precyzji i pisze kod na poziomie oryginału.

Czytaj dalej za darmo

Podaj e-mail, aby odblokować pełną treść i cały serwis. Zapiszemy Cię do newslettera.

Powiązane

Silnik w jednym pliku C uruchamia 744-miliardowy model bez GPU
Premiera / Narzędzie

Silnik w jednym pliku C uruchamia 744-miliardowy model bez GPU

3 min

Colibrì, jednoosobowy projekt open-source w jednym pliku C, uruchamia GLM-5.2 z 744 miliardami parametrów na zwykłym laptopie z 25 GB RAM, bez karty graficznej. Dzięki mieszance ekspertów silnik trzyma gęsty rdzeń w pamięci, a wyspecjalizowanych ekspertów podczytuje z dysku dopiero na żądanie. Ceną jest prędkość: od 0,05 do 0,1 tokena na sekundę na skromnym sprzęcie, choć na MacBooku M5 Max dochodzi do około 1 tokena. Pierwszy pomiar na skwantyzowanych do czterech bitów wagach dał 62,5%, a całość pokazuje, że sprzętowa ściana wokół modeli klasy frontier to kwestia inżynierii, nie prawo fizyki.
Mistral Large 4: otwarty model, którego jeszcze nie da się pobrać
Model / Badania

Mistral Large 4: otwarty model, którego jeszcze nie da się pobrać

4 min

Mistral 6 października udostępnił podgląd modelu Large 4, który reklamuje jako najlepszy otwarty model na świecie, choć wagi mają trafić do pobrania dopiero do końca miesiąca, więc na razie działa wyłącznie przez API. Model ma bilion parametrów, z których przy każdym tokenie pracuje 52 miliardy, a w teście DeepSWE osiąga 61,7%, czyli mniej niż chiński GLM 5.3 z wynikiem 66,9%. Prowadzi za to w teście bezpieczeństwa CyberGym-E2E, w którym zamknięte modele odmawiają pracy, dlatego decyzję o budowaniu na nim odłożyłbym do dnia, w którym wagi i licencja będą naprawdę dostępne.
Liquid AI zmieścił agenta w 2,5 GB i puścił go bez chmury
Model / Badania

Liquid AI zmieścił agenta w 2,5 GB i puścił go bez chmury

4 min

Liquid AI wypuściło 4 sierpnia LFM2.5-2.6B, model o 2,6 miliarda parametrów, który mieści się w niecałych 2,5 GB i działa lokalnie na laptopie, telefonie czy Raspberry Pi, bez ani jednego zapytania do chmury. Kluczowa jest metoda: model dotrenowano wprost w harnessie agenta i nagradzano za faktyczny wynik, dzięki czemu na teście ToolSandbox wyprzedził trzykrotnie większego Qwen3.5-9B, choć na BFCLv4 już przegrywa. Skoro nie płacisz za tokeny do API, każde uruchomienie kosztuje zero, a firma otwarcie przyznaje, że do trudniejszych zadań programistycznych lepszy bywa większy model.