SmartDigest.ai Tworzone przez AI, żeby nadążyć za AI
Zapisz się

Zapisz się do newslettera

Co tydzień najważniejsze newsy AI prosto na Twój e-mail. Wybierz tematy, które Cię interesują.

Premiera / Narzędzie

gpu-unlock zdejmuje programowy limit z rdzeni Tensor w kartach NVIDIA RTX 30

Otwarty moduł jądra Linuksa gpu-unlock, opublikowany na GitHubie przez programistę Zagittę, zdejmuje z kart RTX 30 programowy limit, przez który rdzenie Tensor przyjmują instrukcje FP16 i BF16 wolniej niż w kartach profesjonalnych. Na RTX 3090 Ti BF16 przyspieszył z 87,5 do 157,4 biliona operacji na sekundę, a FP16 tylko o około 35%, choć są to pomiary samego autora z jednej karty. W zamian trzeba mieć Linuksa, dopisać parametr jądra i znieść chwilę czarnego ekranu, więc realnie zyska głównie ktoś, kto dostraja modele na domowym RTX 3090.

Napisała AI, żeby oszczędzić Ci czytania setek źródeł.  ·  Jak to działa

Premiera / Narzędzie  ·  4 min  · 

gpu-unlock zdejmuje programowy limit z rdzeni Tensor w kartach NVIDIA RTX 30
Ilustrację przygotowała AI.

Karty graficzne RTX z serii 3000 mają w sobie hamulec, który założył im producent. Karta ma osobne rdzenie Tensor do mnożenia macierzy, na którym opiera się trenowanie i uruchamianie sieci neuronowych. W kartach dla graczy przyjmują one część instrukcji wolniej niż w profesjonalnych odpowiednikach zbudowanych na tych samych układach. Programista podpisujący się jako Zagitta opublikował na GitHubie gpu-unlock, otwarty moduł jądra Linuksa, który zwalnia ten hamulec, zanim do karty dobierze się sterownik NVIDIA. Dla mnie to usunięcie sztucznego limitu, a nie nowa funkcja. Zadaję więc sobie pytanie, czy zyskam coś w swojej pracy i co za to oddam.

Co dokładnie było przyhamowane

Autor nazywa to w README projektu "niewielkim utrudnieniem, które Nvidia wprowadziła, żeby odróżnić karty do centrów danych i profesjonalne od wersji konsumenckich". Chodzi o rachunki w tańszych, mniej dokładnych formatach liczb, FP16 i BF16, w których odbywa się większość trenowania i dostrajania modeli na domowej karcie. Według autora moduł podwaja tempo, w jakim karta przyjmuje takie instrukcje, na układach GA102, GA103, GA104 i GA106, z których zbudowana jest seria RTX 30. Od tych kart projekt się zaczął.

Czytaj dalej za darmo

Podaj e-mail, aby odblokować pełną treść i cały serwis. Zapiszemy Cię do newslettera.

Powiązane

System wieloagentowy Cursora i NVIDII zoptymalizował 235 kerneli CUDA średnio o 38%
Model / Badania

System wieloagentowy Cursora i NVIDII zoptymalizował 235 kerneli CUDA średnio o 38%

4 min

Cursor i NVIDIA puścili wieloagentowy harness na 27 kartach Blackwell B200, który przez trzy tygodnie pisał kernele CUDA dla 235 problemów z 124 modeli open-source. Czołówka mówi o 38% średniego przyspieszenia, ale punktem odniesienia jest PyTorch zoptymalizowany pojedynczym agentem, nie cuBLAS, a mediana wskaźnika SOL wyniosła 0,56. Na mnożeniu macierzy BF16 agent dotarł do 86% wydajności cuBLAS, na attention dla Llamy 3.1 8B przebił FlashInfer o 84%. Ciekawszy test w CuTe DSL pozostał bez liczb.

NVIDIA rozbija model na dwie części, żeby pisał tekst 2,42 raza szybciej
Model / Badania

NVIDIA rozbija model na dwie części, żeby pisał tekst 2,42 raza szybciej

4 min

NVIDIA pokazała Nemotron-Labs-TwoTower, model, który generuje tekst całymi blokami po 16 słów naraz zamiast token po tokenie, dzięki czemu pisze 2,42 raza szybciej przy zachowaniu 98,7% jakości modelu bazowego. Sztuczka polega na rozbiciu sieci na dwie wieże: zamrożoną kontekstową i odszumiającą, która równolegle wypełnia puste miejsca. Płaci się za to drugą kartą GPU i spadkiem jakości tam, gdzie liczy się precyzja, bo na HumanEval wynik spada z 79,27 do 75,58. Prawdziwa wartość to nie sam model, ale recepta na przyspieszenie gotowych modeli autoregresyjnych bez trenowania od zera.

Ośmiogigabajtowy laptop obsłużył model o 35 miliardach parametrów szybciej niż Codex
Premiera / Narzędzie

Ośmiogigabajtowy laptop obsłużył model o 35 miliardach parametrów szybciej niż Codex

4 min

Na laptopie z ośmiogigabajtowym RTX 4060 model Qwen3.6-35B pod silnikiem FreeToken wyciągnął 39,3 tokena na sekundę, czyli więcej niż mediana 33 tokenów, jaką notuje w produkcyjnych sesjach Codex. Zamiast zamrażać podział ekspertów MoE między kartę a procesor, FreeToken mierzy przepustowość konkretnej maszyny i zapisuje punkty kontrolne tam, gdzie nakładki agentowe tną kontekst, więc w długich sesjach traci najwyżej 12% tempa i nie każe czekać na pierwszy token dłużej niż 44 sekundy. Liczby pochodzą jednak od samych autorów pracy i nikt ich jeszcze nie powtórzył.