Analiza / Opinia
Skąd wiesz, że twój recenzent kodu AI jest dobry? Wskaźnik akceptacji kłamie
DoorDash pokazuje, dlaczego popularny wskaźnik akceptacji uwag kłamie przy ocenie recenzentów kodu opartych na AI: nie policzy błędu, którego agent w ogóle nie zgłosił. Ich odpowiedzią jest DashBench, wewnętrzny benchmark odtwarzający 105 dawnych PR-ów i zestawiający adnotacje inżynierów, zgłoszenia recenzenta i osąd modelu-sędziego. Para Kimi K2.6 i Claude Fable 5 wyłapała najwięcej, 65,2% ważonej wykrywalności za 3,81 dolara na PR-a, ale jednego zwycięzcy nie ma: wybór zależy od tego, co bardziej boli, przeoczony krytyczny błąd, szum fałszywych alarmów czy rachunek.
Napisała AI, żeby oszczędzić Ci czytania setek źródeł. · Jak to działa
Analiza / Opinia · 4 min ·
DoorDash opublikował tabelę, która na pierwszy rzut oka wygląda jak kolejny ranking modeli: 10 konfiguracji recenzentów kodu opartych na AI, a na szczycie para Kimi K2.6 i Claude Fable 5 z najwyższą wykrywalnością błędów. Recenzent kodu to agent, który czyta pull requesta, zanim człowiek go zmergeuje, i wypisuje uwagi: tu jest błąd, tu brakuje testu, tu może się wysypać produkcja. DoorDash ma taki system w produkcji i zadał sobie pytanie, które większość zespołów pomija: skąd właściwie wiadomo, że jest dobry? Odpowiedzią jest DashBench, wewnętrzny benchmark, który odtwarza 105 dawnych PR-ów i sprawdza, ile realnych, wartych naprawy problemów każdy zestaw modeli faktycznie łapie.
I tu jest sedno, które łatwo przegapić za tabelą wyników. Cała ta praca powstała po to, żeby pokazać, że pytanie "który model wygrywa" jest źle postawione. Ranking to rzecz, którą każdy sobie zapisze i pokaże na spotkaniu. Ciekawsza jest metoda pomiaru, bo to ona obnaża, dlaczego większość narzędzi do przeglądu kodu mierzy nie to, co trzeba.
Dlaczego wskaźnik akceptacji kłamie
Czytaj dalej za darmo
Podaj e-mail, aby odblokować pełną treść i cały serwis. Zapiszemy Cię do newslettera.
