Qwen3.8 27B mieści się w 17 GB i nie traci na jakości

Pytanie, od którego zaczyna każdy, kto chce trzymać model na własnym dysku, brzmi banalnie: ile pamięci karty graficznej trzeba, żeby uruchomić Qwen3.8 27B i nie stracić przy tym na jakości. Quesma przepaliła na tę odpowiedź około 3000 dolarów za wynajem kart, bo chciała ją zmierzyć, a nie wyczuć z forów. Pełny model w BF16 waży 55 GB, czyli na domowej karcie nie ma co zaczynać. Skompresowana do czterech bitów Q4_K_M waży 17 GB i powtórzyła wynik pełnego modelu na Terminal-Bench 2.1, zestawie 89 zadań, w których model dostaje sam terminal i musi doprowadzić robotę do końca, bo punkt liczy się tylko wtedy, gdy efekt naprawdę działa.

Ta czterobitowa wersja mieści się na karcie z 24 GB, takiej jak RTX 4090, i zostaje jeszcze miejsce na jakieś 64 tysiące tokenów kontekstu. W kwietniu, pisząc o Qwen3.6-27B, zakładałem, że cztery bity sprowadzają tę klasę modeli na sprzęt konsumencki. Teraz ktoś to policzył na zadaniach agentowych, a nie na rysowaniu pelikana na rowerze w SVG, domowym teście, którym Simon Willison od lat sprawdza kolejne modele. Im dłużej siedzę w tych pomiarach, tym wyraźniej widzę, że pierwsze wrażenie z lokalnego Qwena psuje nie liczba bitów, tylko jedno ustawienie, z którym model przychodzi z pudełka.

Klif zaczyna się dopiero przy jednym bicie