NVIDIA pokazuje, jak wpuścić asystenta AI do wrażliwego kodu, nie oddając mu kontroli

NVIDIA opublikowała na swoim blogu dla deweloperów poradnik, który zaczyna się od trzech kłopotów znanych każdemu, kto chciałby wpuścić asystenta AI do firmowego kodu w banku, urzędzie albo gdziekolwiek, gdzie źródła nie mogą opuścić sieci. Kod nie może wyjść poza serwery. Asystent co jakiś czas wymyśla nazwę biblioteki, której nikt nigdy nie napisał, i tak wpuszcza do projektu ryzyko z zewnątrz. A kiedy wygenerowana zmiana wprowadzi błąd na produkcję, nie ma jak ustalić, że asystent w ogóle miał z nią coś wspólnego.

Rozwiązanie, które proponuje NVIDIA, sprowadza się do jednej decyzji projektowej i to ona jest tu ciekawsza niż same narzędzia: model niczym nie steruje. Podpowiada kod i na tym jego rola się kończy. Cała reszta, czyli pilnowanie zasad, sprawdzanie zależności, ślad po każdej zmianie i pomiar, czy asystent pomaga, czy szkodzi, żyje poza modelem, w systemach, którym zespoły inżynierskie i tak już ufają. Dzięki temu, jak pisze NVIDIA, całość zostaje przejrzysta. Jeśli podpowiedź zostaje zablokowana, zaglądasz do reguły. Jeśli odrzucono jakąś paczkę, zaglądasz do wyniku skanu. Nic nie dzieje się w środku modelu, do którego nie masz wglądu.

W praktyce wygląda to tak. Na własnych kartach graficznych stoi StarCoder2, otwarty model do kodu o 7 miliardach parametrów, zapakowany w NIM, gotowy kontener NVIDIA, który na zewnątrz udaje API OpenAI, więc wtyczki w edytorach umieją z nim rozmawiać bez żadnych przeróbek. Źródła nie wychodzą z sieci, bo model działa u ciebie.