Kod przechodzi linter i testy, a i tak bywa błędny

Agent od kodu potrafi w jedno popołudnie otworzyć kilkadziesiąt pull requestów w kilku repozytoriach naraz. Wpisujesz mu polecenie zwykłym zdaniem, on generuje funkcję, dopisuje testy, przepisuje kawałek kodu. Robi to z prędkością maszyny i bez wyczucia, na czym twojej firmie naprawdę zależy: liczy się dla niego skończenie zadania, a nie to, żeby wyszło bezpiecznie. AWS opisało to na swoim blogu o bezpieczeństwie. Sam pomysł, żeby takiego agenta pilnować, nie jest nowy. Nowe jest to, że stare narzędzia sprawdzają, jak kod jest napisany, a przy agencie problemem staje się to, czego one z zasady nie widzą: czy zmiana robi to, co miała, i czy przy okazji nie rusza rzeczy, o które nikt nie prosił.

Na tę lukę AWS ma trójwarstwową ramę kontroli i od razu powiem, jak ją czytam. Rama jest sensowna, bo pokazuje, gdzie każda warstwa jest ślepa. Ale to mapa, nie dowód: nie ma w niej ani jednej liczby, która potwierdzałaby, że taki układ realnie zbija liczbę wpadek.

Kod przechodzi wszystkie automaty i nadal jest zły