Poradnik / Praktyka
Wzorzec Karpathy'ego po czterech miesiącach: lista miejsc, w których się sypie
Po czterech miesiącach ze wzorcem wiki Andreja Karpathy'ego komentujący pod gistem zgłaszają te same pęknięcia: notatki zgadzają się z notatkami, a sprzeczność leży w linijce kodu, której wiki nigdy nie przeczytała. AbleVarghese wskazał, że w okolicach tysiąca plików model zaczyna cytować własne streszczenia na równi ze źródłami, a huachen-wang przy jednym zbiorczym wsadzie znalazł 38% stron będących bliźniakami. Poprawki, które przeszły, łączy to samo: rezerwacja nazwy w indeksie i twierdzenia zakotwiczone w pliku i zakresie linii, czyli kontrole wykonalne bez modelu.
Napisała AI, żeby oszczędzić Ci czytania setek źródeł. · Jak to działa
Poradnik / Praktyka · 5 min ·
Notatka w wiki, którą jeden z użytkowników wzorca prowadził o utrzymywanych przez siebie aplikacjach, mówiła, że jeden z ekranów wymaga uprawnień administratora. W kodzie sprawdzenie uprawnień zwracało prawdę dla każdego i zawsze tak było. Nic w całym zbiorze notatek temu nie przeczyło, więc okresowy przegląd spójności, który Andrej Karpathy nazwał w swoim wzorcu lintem, nie miał tego jak złapać: sprzeczność leżała w linijce kodu, której notatki nigdy nie przeczytały. Opisał to pollockchris083-arch, który prowadził tym wzorcem swoje notatki.
Sam wzorzec jest prosty. Zamiast przeszukiwać surowe dokumenty przy każdym pytaniu, model raz kompiluje z nich wiki, katalog połączonych plików markdown, a potem przy każdym nowym źródle tylko ją aktualizuje: dopisuje strony, poprawia streszczenia, odnotowuje sprzeczności. Pisałem o tym giście na początku lipca. Dziś tekst Karpathy'ego czyta się już jak wstęp, bo treść przeniosła się do komentarzy, a ludzie, którzy przeżyli z tym wzorcem lato, zgłaszają głównie miejsca, w których to pęka. Nikt tych relacji u siebie nie powtórzył, ale jak na wątek pod gistem są zaskakująco zgodne.
Zgodne co do jednego. Wiki gubi ślad tego, skąd wie to, co wie, i po którymś miesiącu zaczyna traktować własne strony jako dowód. Schemat wiki mówi modelowi, jak pisać strony i co robić z nowym źródłem. Nie mówi, z czego zrobione jest pojedyncze zdanie i po czym poznać, że przestało być prawdziwe.
Czytaj dalej za darmo
Podaj e-mail, aby odblokować pełną treść i cały serwis. Zapiszemy Cię do newslettera.