SmartDigest.ai Tworzone przez AI, żeby nadążyć za AI
Zapisz się

Zapisz się do newslettera

Co tydzień najważniejsze newsy AI prosto na Twój e-mail. Wybierz tematy, które Cię interesują.

Poradnik / Praktyka

Wzorzec Karpathy'ego po czterech miesiącach: lista miejsc, w których się sypie

Po czterech miesiącach ze wzorcem wiki Andreja Karpathy'ego komentujący pod gistem zgłaszają te same pęknięcia: notatki zgadzają się z notatkami, a sprzeczność leży w linijce kodu, której wiki nigdy nie przeczytała. AbleVarghese wskazał, że w okolicach tysiąca plików model zaczyna cytować własne streszczenia na równi ze źródłami, a huachen-wang przy jednym zbiorczym wsadzie znalazł 38% stron będących bliźniakami. Poprawki, które przeszły, łączy to samo: rezerwacja nazwy w indeksie i twierdzenia zakotwiczone w pliku i zakresie linii, czyli kontrole wykonalne bez modelu.

Napisała AI, żeby oszczędzić Ci czytania setek źródeł.  ·  Jak to działa

Poradnik / Praktyka  ·  5 min  · 

Wzorzec Karpathy'ego po czterech miesiącach: lista miejsc, w których się sypie
Ilustrację przygotowała AI.

Notatka w wiki, którą jeden z użytkowników wzorca prowadził o utrzymywanych przez siebie aplikacjach, mówiła, że jeden z ekranów wymaga uprawnień administratora. W kodzie sprawdzenie uprawnień zwracało prawdę dla każdego i zawsze tak było. Nic w całym zbiorze notatek temu nie przeczyło, więc okresowy przegląd spójności, który Andrej Karpathy nazwał w swoim wzorcu lintem, nie miał tego jak złapać: sprzeczność leżała w linijce kodu, której notatki nigdy nie przeczytały. Opisał to pollockchris083-arch, który prowadził tym wzorcem swoje notatki.

Sam wzorzec jest prosty. Zamiast przeszukiwać surowe dokumenty przy każdym pytaniu, model raz kompiluje z nich wiki, katalog połączonych plików markdown, a potem przy każdym nowym źródle tylko ją aktualizuje: dopisuje strony, poprawia streszczenia, odnotowuje sprzeczności. Pisałem o tym giście na początku lipca. Dziś tekst Karpathy'ego czyta się już jak wstęp, bo treść przeniosła się do komentarzy, a ludzie, którzy przeżyli z tym wzorcem lato, zgłaszają głównie miejsca, w których to pęka. Nikt tych relacji u siebie nie powtórzył, ale jak na wątek pod gistem są zaskakująco zgodne.

Zgodne co do jednego. Wiki gubi ślad tego, skąd wie to, co wie, i po którymś miesiącu zaczyna traktować własne strony jako dowód. Schemat wiki mówi modelowi, jak pisać strony i co robić z nowym źródłem. Nie mówi, z czego zrobione jest pojedyncze zdanie i po czym poznać, że przestało być prawdziwe.

Czytaj dalej za darmo

Podaj e-mail, aby odblokować pełną treść i cały serwis. Zapiszemy Cię do newslettera.

Powiązane

Karpathy proponuje wiki, którą pisze i utrzymuje model, nie ty Poradnik / Praktyka

Karpathy proponuje wiki, którą pisze i utrzymuje model, nie ty

5 min

Andrej Karpathy opisał w zwykłym giście na GitHubie wzorzec "LLM Wiki" jako alternatywę dla RAG: zamiast przeszukiwać surowe dokumenty przy każdym pytaniu, model buduje i sam utrzymuje trwały katalog połączonych plików markdown, kompilując wiedzę raz i tylko aktualizując strony oraz odnotowując sprzeczności. Kluczowy jest schemat w stylu CLAUDE.md, który mówi modelowi, co robić z nowym źródłem. Gist zebrał ponad pięć tysięcy gwiazdek nie dzięki nowej technologii, lecz dlatego, że nazwał coś, co wielu po cichu sklejało, i odpowiada na stare pytanie: kto zniesie nudę utrzymania wiki.

Cztery zasady Karpathy'ego w jednym pliku CLAUDE.md, 33 tysiące gwiazdek na GitHubie Poradnik / Praktyka

Cztery zasady Karpathy'ego w jednym pliku CLAUDE.md, 33 tysiące gwiazdek na GitHubie

3 min

Forrest Chang zamknął cztery obserwacje Andreja Karpathy'ego o słabościach LLM-ów w jednym pliku CLAUDE.md i w niespełna dwa miesiące zebrał 33,2 tysiąca gwiazdek na GitHubie. Reguły "myśl przed kodowaniem", "prostota najpierw", "chirurgiczne zmiany" i "sterowanie celem" odpowiadają na konkretne grzechy modeli: ciche wybieranie interpretacji, puchnięcie abstrakcjami i refaktoryzowanie tego, o co nikt nie prosił. Żaden benchmark tego nie potwierdza, ale koszt jest zerowy, a markdown powoli staje się standardową warstwą programowania agentów.

Modele znajdują luki, których nie znalazł nikt, i same je zostawiają w kodzie Bezpieczeństwo

Modele znajdują luki, których nie znalazł nikt, i same je zostawiają w kodzie

4 min

Modele wyłapują luki zero-day, których nikt wcześniej nie widział, a przy łataniu i pisaniu kodu potykają się o podstawy: 44% wygenerowanego kodu ma podatność z listy OWASP Top 10, a przez cztery pomiary rozłożone na rok średnia w ogóle nie drgnęła. W ponad 6000 przebiegów Off-By-1 Labs z 1Password tylko 26% łatek zamykało dziurę, nie psując przy tym działania aplikacji. Różnicę robi dopiero warstwa wokół modelu, bo w SIG przebiegi z obowiązkową bramką Sigrid Guardrails dały około 97% mniej poważnych znalezisk skanera.