Model przepisuje 90% migracji i dostaje za to zero punktów

Model przepisuje 90% wielkiej migracji całego projektu, a testy na końcu i tak nie przechodzą, więc w tabeli wyników ląduje zero. Tak do niedawna wyglądało mierzenie tego, jak AI radzi sobie z kodem, i dokładnie na tym absurdzie wyłożyła się stara punktacja, gdy Google przebudował swój benchmark od podstaw.

Na Android Benchu Google sprawdza modele i agenty na prawdziwej robocie w projektach na Androida. Pierwsza wersja, z wcześniejszych miesięcy tego roku, sprawdzała drobiazgi: poprawki w pojedynczych funkcjach i niewielkie refaktory. Czołówka meldowała tam wyniki grubo powyżej 90%, czyli dokładnie tyle, ile w prawdziwej migracji warte było zero. Dwójka mierzy w końcu to, z czym deweloper realnie żyje: ile roboty udało się zrobić, zanim wszystko stanęło.

Zadania są tu innej klasy. Google nazywa je długodystansowymi i mierzy czasem człowieka, bo to robota, nad którą inżynier siedzi kilka dni, a bywa że cały tydzień. Najostrzejszy przypadek to przeniesienie aplikacji wieloplatformowej na natywnego Androida: rozbierasz działający produkt i składasz go z innych klocków tak, żeby użytkownik nie zauważył różnicy. W zestawie jest też budowanie aplikacji od pustego katalogu i podnoszenie wersji zależności w całym projekcie.