Greptile uczy swojego bota odpalać kod pull requesta, nie tylko go czytać

Bot do przeglądu kodu czyta twojego pull requesta i pisze: wygląda dobrze. Tyle że nigdy tego kodu nie uruchomił. Przeczytał go tak, jak człowiek czyta tekst, i na tej podstawie zgadł, że wszystko się skompiluje i zadziała. Część błędów rzeczywiście da się tak wychwycić. Ale nie te, które pokazują się dopiero, gdy program naprawdę rusza: zamrożenia w trakcie działania, wyścigi między równoległymi żądaniami, przypadki brzegowe w kodzie asynchronicznym.

Greptile, narzędzie do automatycznego przeglądu kodu na GitHubie, wypuściło właśnie w wersji beta funkcję, która ten schemat odwraca. Nazywa się TREX, od Test Run EXecute, i zamiast tylko czytać zmianę, faktycznie ją odpala.

Działa to w trzech krokach. Najpierw TREX ogląda pull requesta razem z całym repozytorium, twoimi testami i stosem technologicznym, żeby zorientować się, co w ogóle trzeba uruchomić. Potem stawia to w sandboksie, izolowanym środowisku odciętym od reszty systemu, i uruchamia dokładnie tyle, ile dana zmiana wymaga, żeby ruszyć. Czasem wystarczy serwer deweloperski z podstawionymi danymi wejściowymi, czasem TREX odpala agenta, który sam klika po interfejsie jak użytkownik, żeby sprawdzić, czy ekran się nie sypie. Gdy coś pada, cofa się do fragmentu kodu odpowiedzialnego za awarię i zostawia komentarz pod pull requestem.