SmartDigest.ai Tworzone przez AI, żeby nadążyć za AI
Zapisz się

Zapisz się do newslettera

Co tydzień najważniejsze newsy AI prosto na Twój e-mail. Wybierz tematy, które Cię interesują.

Analiza / Opinia

AI pisze 80% testów, resztę wciąż dopina człowiek

Suneet Malhotra, od dwudziestu lat budujący automatyzację testów, rozkłada slogan o AI piszącej 80% testów: model przejmuje 80% klepania w klawiaturę, nie 80% inżynierii, a cała trudność tkwi w pozostałych 20%. Jego pipeline zamienia projekt z Figmy w testy WebDriverIO w jakieś 16 minut, ale kładła go nie halucynacja modelu, tylko hydraulika wokół niego: backend gubił dane logowania, a przestawiona zmienna kazała agentom generować puste dokumenty. Cztery podręcznikowe zabezpieczenia to naprawiły, a człowiekowi i tak zostaje od 20 do 30 procent wysiłku, głównie na przeglądaniu.

Napisała AI, żeby oszczędzić Ci czytania setek źródeł.  ·  Jak to działa

Analiza / Opinia  ·  4 min  · 

AI pisze 80% testów, resztę wciąż dopina człowiek
Ilustrację przygotowała AI.

Suneet Malhotra od dwudziestu lat buduje automatyzację testów dla platform o skali Tindera i Amazona. Kiedy usłyszał, że czyjaś AI pisze już 80% testów, zadał jedno pytanie: osiemdziesiąt procent czego? Po latach w tej robocie jego własna odpowiedź brzmi tak: AI przejmuje 80% klepania w klawiaturę, a nie 80% inżynierii. Cała trudna część siedzi w tych pozostałych 20%, a firmy, które planują budżet tak, jakby zostały im do dopięcia jakieś 2%, płacą za tę pomyłkę pół roku później.

Malhotra opisuje w InfoWorld własny, sześcioetapowy pipeline, w którym każdy etap prowadzi osobny agent, a robota przechodzi z rąk do rąk przez Model Context Protocol, czyli MCP, bez pisania osobnej przejściówki do Figmy, Jiry czy generatora kodu. Na wejściu jest projekt ekranu w Figmie, na wyjściu gotowy zestaw testów w WebDriverIO. Całość przebiega w jakieś 16 minut i, jak zapewnia, nie jest to sztuczka na pokaz, bo tyle samo wychodziło mu przy kolejnych uruchomieniach. Kto chce, może to odpalić u siebie z jego publicznej implementacji na licencji MIT.

Tyle że te 16 minut to liczba marketingowa. To ta część historii, którą najprzyjemniej opowiadać na firmowym zebraniu i z której najmniej się nauczysz. Prawdziwa robota kryje się w godzinach, które przychodzą potem, kiedy człowiek przegląda każde przekazanie między agentami.

Czytaj dalej za darmo

Podaj e-mail, aby odblokować pełną treść i cały serwis. Zapiszemy Cię do newslettera.

Powiązane

Kod da się sprawdzić i na tym stoi cała przewaga agentów
Analiza / Opinia

Kod da się sprawdzić i na tym stoi cała przewaga agentów

4 min

Phillip Isola z MIT tłumaczy w rozmowie dla MIT News, dlaczego z całej fali agentów AI naprawdę wypaliła tylko jedna kategoria: te do pisania kodu. Powód jest prozaiczny, kod da się sprawdzić, więc agent może odpalić własne rozwiązanie, napisać test i kręcić pętlę prób i błędów, aż trafi na dobrą strategię, czego przy rezerwacji lotu czy w medycynie zrobić się nie da. Ta sama łatwość bywa jednak pułapką, bo przy vibe codingu człowiek świadomie rezygnuje z tej weryfikacji, przez co wkradają się błędy i wyciekają prywatne dane.

Microsoft pozwala AI napisać test tylko raz, resztę robi już zwykły skrypt
Premiera / Narzędzie

Microsoft pozwala AI napisać test tylko raz, resztę robi już zwykły skrypt

3 min

Zespół Commerce Platforms w Microsofcie obszedł konflikt między probabilistyczną naturą AI a wymogiem, by test zgodności za każdym razem przebiegał identycznie: agent tylko raz układa przypadki testowe z istniejącej dokumentacji, człowiek je zatwierdza, a wynik zostaje zamrożony w deterministyczny skrypt, którego AI już nie dotyka. Drugi agent podważa to, co stworzył pierwszy, zanim cokolwiek zostanie zatwierdzone. Cotygodniowe testy regresji przy migracji Global Trade Services na SAP S/4HANA spadły z trzech dni do niespełna godziny, choć liczby pochodzą wyłącznie z firmowego bloga Microsoftu.

39 punktów różnicy między tym, co programista czuje przy AI, a tym, co mierzy stoper
Analiza / Opinia

39 punktów różnicy między tym, co programista czuje przy AI, a tym, co mierzy stoper

3 min

Doświadczeni programiści open source spodziewali się, że asystent AI przyspieszy ich pracę o 24%. Po wszystkim nadal czuli zysk rzędu 20%. Stoper METR w randomizowanym badaniu pokazał coś odwrotnego: byli o 19% wolniejsi. Trzydzieści dziewięć punktów rozjazdu między odczuciem a zegarem bierze się z przeglądu wygenerowanego kodu, poprawiania promptów i przełączania uwagi. Cała branżowa narracja o produktywności AI opiera się na ankietach, a 87% deweloperów codziennie sięga po te narzędzia, nie wiedząc, kiedy faktycznie pomagają.