Poradnik / Praktyka
Dziesięć awarii między działającym modelem a czystym bełkotem
Deweloper tonyd2wild uruchomił GLM-5.2, otwarty model o 753 miliardach parametrów, na dwóch biurkowych DGX Spark, osiągając około 15 tokenów na sekundę. Zmieściło się to dzięki architekturze mixture-of-experts i kwantyzacji ekspertów do 2 bitów, kosztem jakości odpowiedzi. Sednem nie są jednak liczby, tylko lista 10 awarii dzielących "teoretycznie się da" od "faktycznie działa": różne nazwy użytkowników rozbiły ścieżkę do biblioteki NCCL, a brakujący plik z wagami sprawił, że model wstawał czysto i wypluwał bełkot. Główny wniosek: "wstało bez błędów" nie znaczy "działa poprawnie".
Napisała AI, żeby oszczędzić Ci czytania setek źródeł. · Jak to działa
Poradnik / Praktyka · 4 min ·
Ktoś wziął dwa biurkowe komputery NVIDII, połączył je kablem i uruchomił na nich model językowy o 753 miliardach parametrów. Efekt: spójne odpowiedzi z prędkością około 15 tokenów na sekundę, w szczycie 21,6. Brzmi jak popis inżynierski i po części nim jest, ale najciekawsze w tym raporcie z wdrożenia nie są liczby, tylko lista rzeczy, które się po drodze wysypały.
Opublikował go na GitHubie deweloper podpisujący się tonyd2wild. Model to GLM-5.2, otwarty model laboratorium Z.ai, znany z niezłych wyników w programowaniu. W pełnej wersji zajmuje jakieś 756 GB i normalnie potrzebuje serwerowni. Tutaj wjechał na dwa DGX Spark, czyli niewielkie, biurkowe komputery NVIDII do AI, każdy ze 121 GiB pamięci dzielonej między procesorem a układem graficznym.
Że się w ogóle zmieścił, to zasługa dwóch sztuczek. GLM-5.2 jest typu mixture-of-experts: parametrów ma wprawdzie 753 miliardy, ale przy każdym tokenie uaktywnia się tylko ich ułamek, więc liczy się szybciej, niż sugerowałby rozmiar. Do tego eksperci zostali skwantyzowani do 2 bitów na wagę zamiast bazowych 8 bitów (FP8), a część z nich w ogóle wycięto, z 256 do 208 na warstwę. Model schudł na tyle, że zmieścił się w pamięci dwóch maszyn. Kosztem jakości.
Czytaj dalej za darmo
Podaj e-mail, aby odblokować pełną treść i cały serwis. Zapiszemy Cię do newslettera.
