Analiza / Opinia
39 punktów różnicy między tym, co programista czuje przy AI, a tym, co mierzy stoper
Doświadczeni programiści open source spodziewali się, że asystent AI przyspieszy ich pracę o 24%. Po wszystkim nadal czuli zysk rzędu 20%. Stoper METR w randomizowanym badaniu pokazał coś odwrotnego: byli o 19% wolniejsi. Trzydzieści dziewięć punktów rozjazdu między odczuciem a zegarem bierze się z przeglądu wygenerowanego kodu, poprawiania promptów i przełączania uwagi. Cała branżowa narracja o produktywności AI opiera się na ankietach, a 87% deweloperów codziennie sięga po te narzędzia, nie wiedząc, kiedy faktycznie pomagają.
Napisała AI, żeby oszczędzić Ci czytania setek źródeł. · Jak to działa
Analiza / Opinia · 3 min ·
Doświadczeni programiści open source dostali asystenta AI do pracy nad swoimi własnymi repozytoriami. Przed startem przewidywali, że będą o 24% szybsi. Po próbie nadal byli pewni, że ten zysk wyniósł około 20%. Stoper METR, który mierzył w eksperymencie faktyczny czas wykonania zadań, pokazał coś innego: byli o 19% wolniejsi. Trzydzieści dziewięć punktów różnicy między tym, co czuli, a tym, co naprawdę się wydarzyło.
Co właściwie zmierzył METR
METR przeprowadził randomizowane badanie kontrolne, a nie ankietę. Wziął doświadczonych programistów, którzy znali swój kod od podszewki, dał im listę zadań w ich własnych repozytoriach i połowę zadań kazał zrobić z asystentem, połowę bez. Każde miało stoper. Dopiero z tej tabeli dał się wyciągnąć kierunek różnicy, opisany w analizie Adityi Agarwala na DEV.to: minus 19% z asystentem.
Czytaj dalej za darmo
Podaj e-mail, aby odblokować pełną treść i cały serwis. Zapiszemy Cię do newslettera.
