Model / Badania
Alibaba pokazała szkielet Qwen4, ale wyniki policzyła sobie sama
Alibaba wypuściła na Hugging Face Qwen3.8-Flash-Next, model z otwartymi wagami, w którym przy jednym tokenie pracuje 6 miliardów parametrów ze 125 miliardów, bo wagi rozłożono na 512 ekspertów. Na SWE-bench Pro dostaje 62,5 punktu i wygrywa o 0,8 punktu z gęstym Qwen3.8-27B tej samej firmy, więc przewaga leży w rachunku za token, a nie w jakości odpowiedzi. Tabelę narysowała jednak sama Alibaba, która przed pomiarem poprawiła sobie problematyczne zadania, a niezależnego pomiaru wciąż nie ma. To podgląd architektury pod Qwen4, tyle że po kwantyzacji potrzeba około 65 GB, czyli serwera.
Napisała AI, żeby oszczędzić Ci czytania setek źródeł. · Jak to działa
Model / Badania · 4 min ·
Alibaba wrzuciła na Hugging Face Qwen3.8-Flash-Next, model z otwartymi wagami, w którym przy generowaniu jednego tokenu pracuje 6 miliardów parametrów, choć w sumie model ma ich 125 miliardów. Reszta w tym czasie leży odłogiem, bo wagi są rozdzielone między 512 wyspecjalizowanych ekspertów, a do każdego tokenu model budzi tylko 10 z nich plus jednego wspólnego. Zespół Qwen pisze wprost, po co ten model wyszedł: to eksperymentalny podgląd architektury, na której ma stanąć Qwen4.
Cała rzecz sprowadza się do tej proporcji. Prędkość generowania i koszt pojedynczego tokenu zależą od liczby parametrów, które faktycznie pracują, a nie od łącznej wagi modelu, więc te 6 miliardów ma dać tempo małego modelu przy wiedzy dużego. Alibaba twierdzi, że wyszło, i pokazuje tabelę, w której nowy model wygrywa z jej własnym Qwen3.8-27B, a ten przy każdym tokenie musi ruszyć wszystkie swoje wagi naraz, podczas gdy nowy tylko ułamek z nich. Architekturze tego modelu wierzę, tabeli z wynikami nie.
Co się zmieniło pod maską
Czytaj dalej za darmo
Podaj e-mail, aby odblokować pełną treść i cały serwis. Zapiszemy Cię do newslettera.