SmartDigest.ai Tworzone przez AI, żeby nadążyć za AI
Zapisz się

Zapisz się do newslettera

Co tydzień najważniejsze newsy AI prosto na Twój e-mail. Wybierz tematy, które Cię interesują.

Premiera / Narzędzie

Czy warto indeksować całe repo, zanim agent zacznie pisać?

Anthropic i Augment Code spierają się na łamach Ars Technica o jedno: czy przed pracą agenta warto z góry zaindeksować całe repozytorium, czy lepiej, by model wyszukiwał kod grepem od nowa przy każdym zadaniu. Cat Wu z Anthropic nie widzi mierzalnej poprawy z bogatego kontekstu i celowo trzyma harness szczupłym, a Vinay Perneti chwali się, że na Terminal-Bench semantyka dała ten sam wynik o 33% taniej. Przyznaje jednak, że przewaga liczy się dopiero na dużych, prywatnych repozytoriach, których publiczne benchmarki nie mierzą, więc spór idzie o koszt tokenów, nie o samą trafność.

Napisała AI, żeby oszczędzić Ci czytania setek źródeł.  ·  Jak to działa

Premiera / Narzędzie  ·  5 min  · 

Czy warto indeksować całe repo, zanim agent zacznie pisać?
Ilustrację przygotowała AI.

Dwie firmy, które robią oprogramowanie opakowujące modele językowe, spierają się o jedną rzecz: czy kod trzeba przygotować agentowi z góry, czy lepiej, żeby model odnajdywał go sam przy każdym zadaniu. Samuel Axon z Ars Technica przepytał obie strony. Cat Wu, szefowa produktu Claude Code w Anthropic, twierdzi, że ich testy nie pokazują żadnej mierzalnej poprawy, gdy z góry buduje się uporządkowany kontekst wokół repozytorium, więc jej zespół świadomie trzyma swój harness szczupłym. Vinay Perneti, wiceprezes ds. inżynierii w Augment Code, obstawił dokładnie odwrotnie. Powiem od razu, po której jestem stronie: w większości przypadków bliżej mi do Anthropic, a Augment wygrywa w jednym, wąskim, ale całkiem realnym scenariuszu.

Agent zapomina wszystko między zadaniami i naraz mieści w głowie tylko kawałek kodu, więc za każdym razem musi najpierw pójść i zebrać ten fragment, który akurat jest mu potrzebny. Tym, co model w ogóle zobaczy z kodu, jakie akcje może wykonać i jak z tym kodem rozmawia, steruje warstwa oprogramowania owinięta wokół modelu. To właśnie harness. Sposoby na samo zebranie kodu są dwa. Pierwszy, grepowy, którym idą Claude Code i Codex: model przeszukuje pliki tekstowo, jak programista wpisujący frazę w wyszukiwarkę, od nowa przy każdym zadaniu. Drugi, semantyczny, którym poszedł Augment: całe repozytorium jest z góry zaindeksowane, kod zamienia się na liczbowe wektory, a osobny model wyszukujący wyciąga w ułamku milisekundy te fragmenty, które pasują znaczeniowo, a nie dosłownie tekstem.

Przewaga pokazuje się dopiero na dużym, prywatnym repozytorium

Czytaj dalej za darmo

Podaj e-mail, aby odblokować pełną treść i cały serwis. Zapiszemy Cię do newslettera.

Powiązane

Ponad 20% drożej i ani jednego zadania więcej
Analiza / Opinia

Ponad 20% drożej i ani jednego zadania więcej

3 min

Zespół z laboratorium SRI na ETH w Zurychu sprawdził, czy pliki kontekstowe w repozytorium, jak AGENTS.md, realnie pomagają agentom do programowania, i wyszło, że nie: skuteczność mierzona odsetkiem ukończonych zadań ani drgnęła, a rachunek za pracę agenta urósł o ponad 20%. Wynik trzyma się także wtedy, gdy kontekst pisali ręcznie sami deweloperzy, nie tylko model. Pliki zmieniają zachowanie agenta: więcej testuje i dokładniej przegląda repozytorium, co spala tokeny, ale nie zamyka więcej zgłoszeń. Autorzy nie każą wyrzucać AGENTS.md, tylko skrócić go do rzeczy, których agent sam nie zgadnie.

Repozytorium z 286 umiejętnościami radzi włączyć tylko garstkę
Premiera / Narzędzie

Repozytorium z 286 umiejętnościami radzi włączyć tylko garstkę

5 min

Repozytorium ECC wystawia na licencji MIT 286 gotowych umiejętności dla agenta, ale jego własny README radzi trzymać się poniżej 10 serwerów MCP i 80 narzędzi, bo po włączeniu wszystkiego z okna na 200 tysięcy tokenów zostaje około 70 tysięcy na kod i rozmowę. Do tego lutowy audyt blisko 4 tysięcy publicznych umiejętności znalazł lukę w 36% z nich, część ze wstrzykniętymi instrukcjami dla modelu. Więcej daje więc własny zestaw testów, jak ten z bloga Agentailor za 0,42 dolara za przebieg, który po każdej zmianie mówi, czy agent nadal zatrzymuje się przed nieodwracalną akcją.

Agent czyta AGENTS.md aż za dokładnie
Analiza / Opinia

Agent czyta AGENTS.md aż za dokładnie

4 min

Zespół laboratorium SRI z ETH w Zurychu sprawdził na SWE-bench i na zgłoszeniach z repozytoriów, w których deweloperzy sami napisali AGENTS.md, czy taki plik pomaga agentom do programowania. Odsetek rozwiązanych zadań nie rośnie, a koszt pracy modelu idzie w górę o ponad 20%, bo agent posłusznie wykonuje każde polecenie z pliku, przegląda więcej plików i więcej testuje. Dlatego zostawiłbym w AGENTS.md tylko to, czego agent nie wyczyta z kodu, na przykład że testy wymagają uruchomionej lokalnej bazy.