Tencent wypuszcza Hy4 preview na Apache 2.0 i sam sobie wystawia ocenę

Tencent wystawił na Hugging Face wagi Hy4 preview, a karta modelu zaczyna się od liczby 770 miliardów parametrów. Ważniejsza jest druga: przy generowaniu jednego tokenu model pracuje tylko na 49 miliardach z nich. Reszta w tym czasie leży bezczynnie, bo to konstrukcja typu mixture-of-experts, w której każda z 77 warstw ma 256 wyspecjalizowanych podsieci, a router przy każdym tokenie wybiera z nich osiem plus jedną wspólną, zawsze włączoną. Liczenie kosztuje więc mniej więcej tyle, co w modelu kilkanaście razy mniejszym.

Tylko że aktywne parametry obniżają koszt liczenia, nie zapotrzebowanie na pamięć. Router musi mieć z czego wybierać, więc wszystkie wagi, całe 770 miliardów, muszą jednocześnie leżeć na kartach. Każdą wagę da się ścisnąć do ośmiu bitów, w formacie FP8, a model i tak nie mieści się na jednej karcie. Zalecany przepis na uruchomienie na vLLM, popularnym serwerze do wystawiania modeli, rozkłada go, już skwantyzowanego, na osiem kart naraz. Mówię to, zanim ktoś przeczyta "49 miliardów aktywnych" jako "pójdzie na jednej karcie pod biurkiem".

Jak już masz karty, reszta jest spakowana