Ile agentów kodujących utrzyma jeden megawat? Wreszcie jest na to pomiar

Jeśli kiedykolwiek próbowaliście oszacować, ile autonomicznych agentów do kodowania utrzyma wasza infrastruktura, wiecie, że dotychczasowe benchmarki sprzętu na to pytanie nie odpowiadały. Mierzyły pojedyncze zapytanie do modelu: jak szybko przychodzi odpowiedź i ile takich zapytań karta obsłuży naraz. Agent kodujący wygląda zupełnie inaczej. To nie jeden strzał, tylko sztafeta na nawet 200 tur, czyli kolejnych wymian, w których model raz coś przemyśli, raz sięgnie po narzędzie, raz wprowadzi zmianę w pliku, i tak po kolei, a kontekst rośnie z tury na turę i przekracza 100 tysięcy tokenów. Artificial Analysis 12 czerwca uruchomiło AA-AgentPerf, pierwszy benchmark sprzętowy zbudowany właśnie pod ten kształt obciążenia.

Sednem jest jedna miara: liczba agentów na megawat. To megawat poboru prądu jest dziś realnym ograniczeniem przy rozbudowie, droższym i trudniejszym do zdobycia niż same karty, więc pytanie nie brzmi już "ile agentów na kartę", tylko "ile agentów na każdą jednostkę mocy". Benchmark odtwarza prawdziwe zapisy pracy agentów, które rozwiązywały zgłoszenia w publicznych repozytoriach na czołowych modelach z otwartymi wagami, a potem sprawdza, ilu takich agentów system utrzyma jednocześnie, nie schodząc poniżej ustalonego poziomu usługi. Poziom usługi to dwa progi naraz: prędkość generowania tokenów na agenta i czas do pierwszego tokena, czyli ile użytkownik czeka, zanim cokolwiek zacznie się dziać. Dopiero przy zachowanym progu pada to właściwe pytanie: ilu agentów utrzymasz na każdym megawacie poboru.

To zmienia charakter pomiaru. Wcześniejsze benchmarki wyłączały optymalizacje, których w produkcji używa każdy dostawca, więc mierzyły wdrożenie, jakiego nikt realnie nie uruchamia, i przez to zaniżały, ilu agentów dałoby się naprawdę zmieścić na jednym megawacie. AA-AgentPerf je dopuszcza, bo każda z nich pozwala upchnąć więcej agentów w ten sam budżet mocy: ponowne użycie pamięci podręcznej dla wspólnego prefiksu kontekstu, żeby nie liczyć w kółko tego samego, oraz inne sztuczki przyspieszające generowanie i rozdzielające wczytywanie kontekstu od pisania odpowiedzi. Pilnuje przy tym jakości wyjścia, żeby system nie kupował pojemności kosztem gorszych odpowiedzi. Dla planującego pojemność liczba zaczyna wreszcie znaczyć to, co naprawdę dostanie w serwerowni.