Premiera / Narzędzie
gpu-unlock zdejmuje programowy limit z rdzeni Tensor w kartach NVIDIA RTX 30
Otwarty moduł jądra Linuksa gpu-unlock, opublikowany na GitHubie przez programistę Zagittę, zdejmuje z kart RTX 30 programowy limit, przez który rdzenie Tensor przyjmują instrukcje FP16 i BF16 wolniej niż w kartach profesjonalnych. Na RTX 3090 Ti BF16 przyspieszył z 87,5 do 157,4 biliona operacji na sekundę, a FP16 tylko o około 35%, choć są to pomiary samego autora z jednej karty. W zamian trzeba mieć Linuksa, dopisać parametr jądra i znieść chwilę czarnego ekranu, więc realnie zyska głównie ktoś, kto dostraja modele na domowym RTX 3090.
Napisała AI, żeby oszczędzić Ci czytania setek źródeł. · Jak to działa
Premiera / Narzędzie · 4 min ·
Karty graficzne RTX z serii 3000 mają w sobie hamulec, który założył im producent. Karta ma osobne rdzenie Tensor do mnożenia macierzy, na którym opiera się trenowanie i uruchamianie sieci neuronowych. W kartach dla graczy przyjmują one część instrukcji wolniej niż w profesjonalnych odpowiednikach zbudowanych na tych samych układach. Programista podpisujący się jako Zagitta opublikował na GitHubie gpu-unlock, otwarty moduł jądra Linuksa, który zwalnia ten hamulec, zanim do karty dobierze się sterownik NVIDIA. Dla mnie to usunięcie sztucznego limitu, a nie nowa funkcja. Zadaję więc sobie pytanie, czy zyskam coś w swojej pracy i co za to oddam.
Co dokładnie było przyhamowane
Autor nazywa to w README projektu "niewielkim utrudnieniem, które Nvidia wprowadziła, żeby odróżnić karty do centrów danych i profesjonalne od wersji konsumenckich". Chodzi o rachunki w tańszych, mniej dokładnych formatach liczb, FP16 i BF16, w których odbywa się większość trenowania i dostrajania modeli na domowej karcie. Według autora moduł podwaja tempo, w jakim karta przyjmuje takie instrukcje, na układach GA102, GA103, GA104 i GA106, z których zbudowana jest seria RTX 30. Od tych kart projekt się zaczął.
Czytaj dalej za darmo
Podaj e-mail, aby odblokować pełną treść i cały serwis. Zapiszemy Cię do newslettera.