Premiera / Narzędzie
DeepInfer na GitHubie: co DeepSeek oddał, a co zatrzymał dla siebie
DeepSeek opublikował 20 października na GitHubie DeepInfer, silnik inferencji dla modelu V4.1-Flash na licencji Apache 2.0, który działa na kartach Nvidii Blackwell i chipach Huawei Ascend 950. Zatrzymał jednak to, co daje mu przewagę kosztową: pamięć podręczną na klastrze dysków SSD, z której pochodzi 96% tokenów wejściowych, rozdzielenie pracy na osobne maszyny i równoważenie ruchu. Zespół vLLM uzyskał przepustowość najwyżej o 6% niższą, więc różnicę robi infrastruktura, a od ręki przyda się głównie biblioteka deepseek-recipe, która tłumaczy formaty API OpenAI i Anthropica.
Napisała AI, żeby oszczędzić Ci czytania setek źródeł. · Jak to działa
Premiera / Narzędzie · 4 min ·
DeepSeek od dawna sprzedaje dostęp do swoich modeli taniej niż konkurencja, a jak firma utrzymuje te ceny, wiedziała tylko ona. We wtorek 20 października opublikowała na GitHubie DeepInfer, program, który w jej centrach danych przyjmuje prompty i wylicza z modelu V4.1-Flash kolejne tokeny odpowiedzi. Licencja Apache 2.0 pozwala wziąć kod także do użytku komercyjnego. We wrześniu pisałem, że DeepSeek przerzucił na V4.1-Flash ruch ze swojego flagowca V4-Pro, więc to dziś główny silnik firmy.
Kod jest prawdziwy, nie pokazowy. Tyle że samo README wymienia trzy rzeczy, bez których z repozytorium nie zbudujesz pełnej usługi: system przechowywania pamięci podręcznej, rozdzielenie czytania promptu i generowania odpowiedzi na osobne maszyny oraz równoważenie ruchu między kopiami modelu. Moim zdaniem to właśnie te trzy elementy dają DeepSeekowi przewagę kosztową. Firma oddała silnik, a zatrzymała to, co sprawia, że silnik zarabia.
Co dostajesz po sklonowaniu repozytorium
Czytaj dalej za darmo
Podaj e-mail, aby odblokować pełną treść i cały serwis. Zapiszemy Cię do newslettera.
