Analiza / Opinia
Harvard na danych Jellyfish: agenty AI piszą o 30% więcej kodu, a zespoły nie kończą więcej zadań
Fiona Chen i James Stratton z Harvardu przeanalizowali dane Jellyfish z ponad 700 firm i wyszło im, że po wprowadzeniu agentów AI kodu przybywa średnio o 30%, a zespoły nie kończą więcej zadań. Czas zaoszczędzony na pisaniu znika w przeglądzie, bo pull request czeka na akceptację o 49% dłużej, z 7 do ponad 10 dni, a prośby o poprawki zdarzają się prawie dwa razy częściej. Narzędzia AI do recenzji ma 80% firm, ale zostawiają one tylko 23,3% komentarzy, dlatego mierzyłbym czas do zmergeowania, a nie liczbę linii.
Napisała AI, żeby oszczędzić Ci czytania setek źródeł. · Jak to działa
Analiza / Opinia · 4 min ·
Fiona Chen i James Stratton, badacze z Harvardu, sprawdzili na danych z ponad 700 firm programistycznych, co się dzieje, kiedy zespół wpuszcza do pracy agenty AI. Agent nie podpowiada już kolejnej linijki, tylko dostaje polecenie, sam pisze kod i zgłasza gotową zmianę do przeglądu. Kodu wyraźnie przybywa: według Ars Technica po wprowadzeniu agentów linii jest średnio o 30% więcej. Zespoły nie kończyły jednak ani więcej zadań, ani więcej dużych pakietów pracy niż wcześniej, a różnica nie była statystycznie istotna. Badacze nie znaleźli też śladu, żeby zadania nagle stały się większe lub trudniejsze.
Wierzę w ten wynik, ale czytam go wąsko. Agenty naprawdę produkują więcej kodu, tylko że czas zaoszczędzony na pisaniu firmy oddają później w kolejce do przeglądu kodu, i to jest dla mnie bardziej użyteczna wiadomość niż nagłówek o tym, że AI nic nie daje.
Skąd te liczby i czego nie dowodzą
Czytaj dalej za darmo
Podaj e-mail, aby odblokować pełną treść i cały serwis. Zapiszemy Cię do newslettera.
