Zyphra wypuszcza Zamba2-1.2B, czatowy model, który zmieści się na laptopie

Zyphra wrzuciła na HuggingFace Zamba2-1.2B-instruct, czatowy model o 1,2 miliarda parametrów, który da się uruchomić na własnym sprzęcie, bez płacenia za API. Ważniejszy od rozmiaru jest sposób, w jaki go zbudowano. To hybryda: trzon to warstwy Mamba2, a co jakiś czas przeplatają się z nimi klasyczne bloki uwagi, te same, na których stoją modele pokroju GPT. Te warstwy uwagi są przy tym współdzielone, czyli korzystają z jednego wspólnego zestawu wag, tak żeby nie rozdmuchiwać liczby parametrów. Efekt, którym firma się chwali, jest konkretny. Model odpowiada z dużo mniejszym opóźnieniem i zżera wyraźnie mniej pamięci niż zwykły transformer tej samej wielkości.

Skąd ta oszczędność pamięci

Zwykły transformer przy każdym nowym słowie odpowiedzi zagląda od nowa do całej dotychczasowej rozmowy. Im dłuższy kontekst, tym więcej pamięci to zajmuje i tym wolniej idzie generowanie. Mamba2 działa inaczej. Zamiast trzymać całą historię, ściska ją do "streszczenia" o stałej wielkości, które aktualizuje z każdym kolejnym tokenem. Koszt pamięci przestaje rosnąć wraz z długością rozmowy i to właśnie ta sztuczka sprawia, że model tej klasy realnie mieści się na laptopie, a nie tylko w teorii.