Premiera / Narzędzie
Sprzątanie miliona linii kodu za 19 300 dolarów. Regresje wyłapali ludzie.
Nous Research puściło 1393 wykonawców swojego agenta Hermes na milion linii Pythona i w 19 godzin, za jakieś 19 300 dolarów w tokenach, skróciło kod o 34,4%. Kontrole oparto na tym, co maszyna porówna sama: niezmieniony schemat JSON narzędzi, wynik polecenia z flagą help bajt w bajt i zamrożoną listę testów, które sypały się już wcześniej. Dwóch regresji to nie złapało, bo agenty wycięły publiczne nazwy potrzebne wtyczkom i w około 65 miejscach zmieniły obsługę błędów, a wyłapały je dopiero dwie rundy przeglądu przez społeczność open-source.
Napisała AI, żeby oszczędzić Ci czytania setek źródeł. · Jak to działa
Premiera / Narzędzie · 4 min ·
Plik gateway/run.py w repozytorium Hermesa, agenta do programowania z otwartym kodem od Nous Research, rozrósł się do 34 847 linii, a cały projekt, po odjęciu testów, przekroczył milion linii Pythona. Nous Research odkładało porządki miesiącami, bo każdy tydzień przeznaczony na sprzątanie to tydzień bez nowych funkcji dla użytkowników. Drugiego września Teknium zlecił tę robotę temu samemu agentowi, którego na co dzień rozwija, i dostał gotowego pull requesta od 1393 wykonawców, z których każdy był osobnym uruchomieniem tego samego modelu, z własnym zadaniem i własnym kawałkiem repozytorium do przerobienia. W szczycie pracowało ich 218 naraz, a cały bieg zajął jakieś 19 godzin.
Nagłówkiem tej historii jest rachunek: około 19 300 dolarów za tokeny wobec szacowanych przez firmę 150 tysięcy do 1,8 miliona dolarów za te same porządki robione ręcznie. Drugi przedział rozciąga się dwunastokrotnie, więc nie jest pomiarem, tylko ramą pod komunikat o stukrotnej oszczędności. Zostawiam go i biorę z tego raportu to, co da się przenieść do własnego repozytorium: opis, jak utrzymać w ryzach 200 agentów grzebiących równolegle w jednym projekcie.
Agent nadrzędny, który nie tknął ani jednej linii kodu
Czytaj dalej za darmo
Podaj e-mail, aby odblokować pełną treść i cały serwis. Zapiszemy Cię do newslettera.
