Scion: system kontroli wersji, który Anthropic zbudował w pięć miesięcy po tym, jak git przestał nadążać za Claude'em

W maju Anthropic mergeował do swojego głównego repozytorium średnio około 2500 zmian dziennie, a we wrześniu już ponad 30 tysięcy. Tak opisuje to sam zespół od kontroli wersji w tekście na blogu inżynierskim firmy i z tego tempa wynika cała reszta: git przestał nadążać, więc siedem osób w pięć miesięcy zbudowało własny system kontroli wersji o nazwie Scion i przeniosło na niego cały kod. Czytam ten tekst z dużym zainteresowaniem, ale jako raport z bardzo nietypowego miejsca, bo Anthropic sam przyznaje, że wydaje na tokeny więcej, niż rozsądnie wydałaby jakakolwiek inna firma. Zespół, który puszcza dziś na jedno repozytorium trzech agentów, ma inny problem niż rozmiar historii: dużo wcześniej, niż git zacznie zwalniać, zobaczy agentów, którzy zderzają się ze sobą przy merge'u.

Git zakłada, że każdy może pracować offline

Każda kopia repozytorium w gicie jest kompletna: ma całą historię, sama liczy różnice między wersjami, pokazuje autora każdej linii i przełącza się na dowolną wersję bez dostępu do sieci. Dla większości projektów to dobry pomysł. Kłopot Anthropica polega na tym, że cały kod firmy leży w jednym repozytorium, którego główna gałąź ma prawie 100 GB historii. System CI, czyli automat, który buduje i testuje każdą zmianę, pobiera ten kod około 25 milionów razy dziennie, więc gdyby każde takie pobranie ściągało całe repozytorium, dawałoby to ponad 600 PB ruchu na dobę.