SmartDigest.ai Tworzone przez AI, żeby nadążyć za AI
Zapisz się

Zapisz się do newslettera

Co tydzień najważniejsze newsy AI prosto na Twój e-mail. Wybierz tematy, które Cię interesują.

Premiera / Narzędzie

Obiecane 98% taniej, a w repozytorium DeepGEMM ani słowa o tokenach

Nagłówki obiecywały tokeny tańsze o 98%, ale w opisie DeepGEMM na GitHubie tej liczby nie ma, jest za to udostępniony na licencji MIT kod, którym DeepSeek liczy swoje modele na kartach graficznych. Część Mega MoE skleja w nim całą drogę tokenów do ekspertów i z powrotem w jeden program, więc karta nie czeka na dane. Biblioteka działa jednak tylko na drogich kartach NVIDII z generacji Hopper i Blackwell, dlatego płacącym za API niczego wprost nie obniży, a skorzysta głównie ten, kto ma własne karty albo chce się uczyć pisania kerneli.

Napisała AI, żeby oszczędzić Ci czytania setek źródeł.  ·  Jak to działa

Premiera / Narzędzie  ·  4 min  · 

Obiecane 98% taniej, a w repozytorium DeepGEMM ani słowa o tokenach
Ilustrację przygotowała AI.

DeepGEMM trafił do mnie z nagłówkiem, że DeepSeek otworzył swoją bibliotekę obliczeń na GPU i że tokeny tanieją przez to o 98%. Przeczytałem opis projektu na GitHubie od początku do końca i tej liczby tam nie znalazłem. Znalazłem coś skromniejszego i moim zdaniem bardziej przydatnego: kod, którego chińskie laboratorium DeepSeek, autor otwartych modeli z serii V3, używa do trenowania i uruchamiania własnych modeli na kartach graficznych. Wydano go na licencji MIT, więc każdy może go czytać, przerabiać i wstawiać do produktów komercyjnych.

To też nie jest premiera z ostatniej chwili. Biblioteka istnieje od 2025 roku, a 10 i 30 września DeepSeek dołożył kolejne porcje zmian, w tym wersję na układy Ascend od Huaweia. Uważam, że warto ją znać, tylko z innego powodu, niż sugeruje nagłówek: to otwarty podręcznik pisania szybkiego kodu na GPU, przydatny głównie zespołom, które same uruchamiają modele na własnych kartach.

Co ta biblioteka właściwie liczy

Czytaj dalej za darmo

Podaj e-mail, aby odblokować pełną treść i cały serwis. Zapiszemy Cię do newslettera.

Powiązane

DeepInfer na GitHubie: co DeepSeek oddał, a co zatrzymał dla siebie
Premiera / Narzędzie

DeepInfer na GitHubie: co DeepSeek oddał, a co zatrzymał dla siebie

4 min

DeepSeek opublikował 20 października na GitHubie DeepInfer, silnik inferencji dla modelu V4.1-Flash na licencji Apache 2.0, który działa na kartach Nvidii Blackwell i chipach Huawei Ascend 950. Zatrzymał jednak to, co daje mu przewagę kosztową: pamięć podręczną na klastrze dysków SSD, z której pochodzi 96% tokenów wejściowych, rozdzielenie pracy na osobne maszyny i równoważenie ruchu. Zespół vLLM uzyskał przepustowość najwyżej o 6% niższą, więc różnicę robi infrastruktura, a od ręki przyda się głównie biblioteka deepseek-recipe, która tłumaczy formaty API OpenAI i Anthropica.
Google uczy Gemmę pisać całymi blokami i wyciąga z jednej karty 1500 tokenów na sekundę
Model / Badania

Google uczy Gemmę pisać całymi blokami i wyciąga z jednej karty 1500 tokenów na sekundę

4 min

Google DeepMind opisał 31 lipca DiffusionGemmę, eksperymentalny model, który zamiast pisać token po tokenie bierze cały blok 256 tokenów jako szum i w kilku przejściach wygładza go w tekst. Na jednej karcie H100 daje to około 1500 tokenów na sekundę, bo odsłania średnio 20 tokenów na przejście zamiast jednego. To dostrojona Gemma 4 w wariancie mixture-of-experts, przerobiona na model dyfuzyjny za mniej niż 10% pierwotnego budżetu tokenów i wypuszczona z otwartymi wagami. Tyle że raport chwali się prędkością, a nie podaje ani jednej liczby, ile jakości kosztuje szybki tryb dyfuzyjny.
Google przerabia Gemmę 4 na model dyfuzyjny, a o cenie za jakość milczy
Model / Badania

Google przerabia Gemmę 4 na model dyfuzyjny, a o cenie za jakość milczy

3 min

Google DeepMind przerobił Gemmę 4 na model dyfuzyjny o nazwie DiffusionGemma, który zamiast pisać słowo po słowie odsłania średnio 20 tokenów na przejście i osiąga około 1500 tokenów na sekundę na jednej karcie H100, wyprzedzając nawet modele ze spekulatywnym dekodowaniem. Pod spodem siedzi wariant mixture-of-experts z 25,2 miliarda parametrów, z których na token aktywuje się tylko 3,8 miliarda. Kłopot w tym, że raport chwali się wyłącznie prędkością i nie podaje żadnej twardej liczby o jakości, zwłaszcza na kodzie.