Czy benchmark przewidzi, jak recenzent AI sprawdzi się u użytkowników?

Recenzenci AI, czyli agenci, którzy czytają pull request i zostawiają w nim uwagi o błędach, do tej pory oceniali się głównie sami: każdy dostawca miał własny wykres i własną definicję tego, co znaczy "znaleźć błąd", a reszcie zostawało wierzyć mu na słowo. W lipcu pisałem o PR-AF, narzędziu do recenzji kodu, którego twórcy chwalili się wynikiem policzonym przez siebie na innym teście, i właśnie takie liczby z jednego źródła ma zastąpić nowy benchmark. GitHub opublikował 6 października ReviewBench, otwarty zestaw testów, na którym każdy może zmierzyć swojego recenzenta i postawić go obok innych we wspólnym rankingu. Najbardziej przekonuje mnie w nim nie sam ranking, tylko próba pokazania, że wynik z benchmarku zapowiada zachowanie prawdziwych użytkowników. Tyle że GitHub pokazał to na jednym eksperymencie i na własnym produkcie, więc traktuję to jako obiecujący początek, a nie dowód.

Duże zmiany zamiast literówek

GitHub przeanalizował 103,9 miliona pull requestów i wybrał z nich 219. Pochodzą ze 187 publicznych repozytoriów, a proporcje języków programowania (jest ich 19) i wielkości projektów odpowiadają całej platformie. Jedno odstępstwo jest celowe. Autorzy wpisu, Michelle Zhou, analityczka danych w Microsofcie, i Alejandro Carderera de Diego, starszy badacz w GitHubie, tłumaczą, że ograniczyli liczbę drobnych zmian w jednym pliku, żeby zostało więcej "konkretnych pull requestów obejmujących wiele plików, w których jakość recenzji ma największe znaczenie". W praktyce 78 z 219 zmian dotyka ponad tysiąca linii, więc recenzent nie nazbiera punktów na poprawianiu literówek w dokumentacji.