Transformer od środka, wyjaśniony na moich flagach llama.cpp

Większość tekstów o tym, „jak działa ChatGPT”, zaczyna się od wzorów i kończy na wzorach. Ja poszedłem od drugiej strony. Od końca września stroiłem lokalne modele na karcie RTX 3080 z 10 GB pamięci i każda flaga w linii poleceń llama-server zmuszała mnie do zrozumienia jednego kawałka transformera. Bez tego nie dało się zgadnąć, czemu coś się nie mieści, zwalnia albo psuje.

Ten wpis to taka mapa: jeden mechanizm, jedna flaga, jeden prawdziwy pomiar. Liczby pochodzą z moich notatek, nie z dokumentacji.

1. Tokeny: model nie widzi liter

Zanim tekst trafi do modelu, tokenizer tnie go na kawałki, czyli tokeny. Token to często całe słowo, czasem jego fragment, czasem jedna litera. Model operuje wyłącznie na numerach tokenów. Słowo „trade” to dla niego jeden numer z długiej listy, a nie pięć liter.

Przekonałem się o tym boleśnie. Qwen pisał ścieżki do plików, które wyglądały poprawnie, a mimo to „plik nie istniał”. Okazało się, że w słowie tradе ostatnia litera była cyrylicką „е”, a nie łacińską „e”. Dla oka to ten sam znak, ale dla tokenizera zupełnie inny token. Model nie „widzi” kształtu litery, więc nie zauważy pomyłki, której człowiek też nie zauważy.

Próbowałem zablokować wszystkie tokeny cyrylicy i pisma CJK (było ich 84 980) flagą -l (logit bias). Nie zadziałało, bo ta wersja llama.cpp brała tylko ostatnią flagę -l, a lista po przecinkach miała ~935 KB i przekraczała limit 128 KB na argument. Wycofałem to. Lekcja: tokenizacja to nie szczegół implementacji, tylko granica tego, co model w ogóle może zauważyć.

2. Uwaga i kontekst: czemu długa rozmowa kosztuje pamięć

Sercem transformera jest mechanizm uwagi (attention). Dla każdego nowego tokenu model zadaje pytanie: „które z poprzednich tokenów są teraz ważne?”. Każdy token ma trzy wektory: zapytanie (Q), klucz (K) i wartość (V). Zapytanie nowego tokenu porównuje się z kluczami wszystkich poprzednich, a wynik decyduje, ile z ich wartości wziąć.

Z tego wynika rzecz praktyczna. Żeby nie liczyć wszystkiego od nowa przy każdym słowie, serwer trzyma klucze i wartości poprzednich tokenów w pamięci. To jest KV cache. Rośnie liniowo z długością kontekstu, w każdej warstwie modelu. Dlatego flaga -c 131072 (128 tysięcy tokenów kontekstu) to nie tylko liczba w configu, ale gigabajty zarezerwowanej pamięci karty.

Mój przykład: model 9B z obsługą obrazów działał na 128k kontekstu, ale padał, gdy dostawał obrazek. Do przetworzenia obrazu potrzebny był dodatkowy bufor projektora (mmproj) i brakowało dokładnie 248 MiB. Zmniejszyłem kontekst do 98 304 tokenów i obrazki zaczęły działać, a karta była zajęta w ~9,4 GB. Kontekst i wszystko inne walczą o te same 10 GB.

Druga lekcja z kontekstu dotyczyła slotów. llama-server domyślnie dzieli kontekst na 4 równoległe sloty. Przy 65k kontekstu każdy slot dostawał tylko ułamek, więc dwa prompty po ~40k tokenów naraz kończyły się błędem „Context size has been exceeded” i pętlą ponowień. Flaga -np 1 (jeden slot, cały kontekst dla jednej rozmowy) rozwiązała problem.

3. Kwantyzacja KV cache: q4_0 prawie za darmo

Skoro KV cache zajmuje tyle miejsca, można go ścisnąć. Normalnie każda liczba w kluczach i wartościach zajmuje 16 bitów. Flagi -ctk q4_0 -ctv q4_0 zapisują je w około 4 bitach, z jedną wspólną skalą na blok liczb.

Bałem się, że model zgłupieje. Zmierzyłem to perpleksją (PPL), czyli miarą tego, jak bardzo model jest „zaskoczony” prawdziwym tekstem. Niższa jest lepsza. Wynik: +0,12% PPL, czyli różnica w granicach szumu. Za to zwolniona pamięć pozwoliła dać więcej miejsca na cache ekspertów (o nich zaraz), przy tym samym zużyciu VRAM 9409 MiB. Generowanie przyspieszyło o 2–10%.

Czemu tak mało kosztuje? Uwaga sprawdza, które tokeny są ważne, a do tego wystarcza przybliżony kierunek wektora. Sama precyzja wag modelu jest dużo ważniejsza niż precyzja tego, co model zapamiętał po drodze. Mimo to zawsze podaję procent straty, bo „prawie za darmo” to nie to samo co „za darmo”.

4. MoE: 35 miliardów parametrów, z czego pracuje 3

Zwykły transformer w każdej warstwie ma blok „feed-forward”, przez który przechodzi każdy token. W architekturze Mixture of Experts (MoE) zamiast jednego bloku jest wielu „ekspertów”, a mały router dla każdego tokenu wybiera tylko kilku z nich.

Mój główny model to Qwen3.6-35B-A3B. Nazwa mówi wszystko: 35 miliardów parametrów łącznie, ale ~3 miliardy aktywne na token (A3B). Wszystkie wagi muszą gdzieś leżeć, ale przy każdym tokenie liczy się tylko mała część.

To otwiera trik, dzięki któremu ten model w ogóle działa na 10 GB. Flaga --cpu-moe zostawia ekspertów w zwykłym RAM-ie, a na karcie są tylko części wspólne: uwaga, embeddingi i KV cache. Do tego --moe-cache-mib trzyma na karcie najczęściej używanych ekspertów. Router ma swoje ulubione ścieżki, więc cache trafia zaskakująco często.

Efekt: z ~31 tok/s przy starym ustawieniu (część warstw na CPU) do ~90–120 tok/s w czacie. Ale ta architektura ma swoją cenę. Eksperci w RAM-ie muszą tam zostać. Gdy system wypychał ich do swapu albo gra zabierała pamięć, prędkość spadała do 2–5 tok/s. Pomogło dopiero ustawienie MemoryLow w cgroups na całej ścieżce aż do user.slice i MemorySwapMax=0. To dobry przykład tego, że wiedza o modelu przenosi się na wiedzę o systemie operacyjnym.

5. Sampling: skąd się bierze następne słowo

Na końcu każdego kroku model nie zwraca słowa, tylko rozkład prawdopodobieństwa po wszystkich tokenach słownika. Wybór jednego z nich to sampling. Temperatura spłaszcza albo wyostrza ten rozkład, top-p i top-k obcinają mało prawdopodobny ogon, a kary za powtórzenia zmniejszają szanse tokenów, które już padły.

Jedna z takich kar, DRY („Don't Repeat Yourself”), kosztowała mnie dziesięć dni (od 10 do 20 października). Modele „ucinały argumenty”: ścieżka w komendzie cp urywała się w połowie albo zmieniała. Dopiero test z jednym prostym zadaniem pokazał prawdę. DRY karze dosłowne powtarzanie sekwencji dłuższych niż kilka tokenów (u mnie allowed-length 8). A przepisanie długiej ścieżki z kontekstu to właśnie dosłowne powtórzenie. Sampler zmuszał model, żeby w połowie ścieżki „wymyślił coś innego”.

Wynik pomiaru: z DRY 0/8 poprawnych komend dla 9B i 0/6 dla 35B. Po --dry-multiplier 0 było 8/8 i 6/6. Wniosek: sampling to nie dekoracja. Ustawienia dobre do pisania opowiadań potrafią zniszczyć pracę z kodem, gdzie dosłowność jest zaletą.

Podobnie z temperaturą. Dla Gemmy obniżenie temperatury z domyślnego 1,0 do 0,6 podniosło wynik w zadaniach z 84% do 96%. Do burzy mózgów zostawiłem osobny wariant z wyższą temperaturą.

6. Spekulacja: jak zgadywać szybciej, niż się liczy

Transformer generuje tokeny po jednym, a każdy wymaga przejścia przez cały model. Ale sprawdzenie kilku tokenów naraz kosztuje prawie tyle samo, co wygenerowanie jednego, bo karta liczy je równolegle. Na tym opiera się dekodowanie spekulatywne: coś taniego zgaduje kilka następnych tokenów, a duży model jednym przejściem sprawdza, ile z nich się zgadza. Trafione zostają za darmo.

Testowałem dwa źródła zgadywania. MTP (multi-token prediction) to dodatkowa mała warstwa w samym modelu, która przewiduje kolejne tokeny. Dawała tylko ~2% w czacie i zabierała ~1 GB VRAM. ngram (--spec-type ngram-mod) szuka po prostu w dotychczasowym tekście miejsca, gdzie występował ten sam ciąg, i proponuje to, co szło dalej. Nie zabiera pamięci karty.

Przy czacie ngram niewiele zmienia, bo rozmowa rzadko się powtarza. Ale przy przepisywaniu kodu model w kółko powtarza fragmenty, które ma już w kontekście. Tam przepisywanie przyspieszyło z ~40 do ~140 tok/s, a w 9B nawet do ~650 tok/s. Zwolniona pamięć po MTP poszła na większy cache ekspertów.

Ciekawostka: przy MoE zgadywanie większej liczby tokenów naraz (n-max 3 zamiast 2) było wolniejsze. Każdy zgadywany token może wymagać innych ekspertów, więc „tanie sprawdzenie” przestaje być tanie.

Czego się nauczyłem

Każdy z tych mechanizmów znałem wcześniej ze slajdów. Ale dopiero gdy coś przestało się mieścić, zwolniło albo zaczęło psuć ścieżki, musiałem zrozumieć, co się dzieje w środku. Z perspektywy czasu widzę, że wszystkie te problemy sprowadzają się do kilku pytań:

  • Co model widzi? Tokeny, nie litery. Stąd homoglify.
  • Co model pamięta? KV cache. Stąd koszt kontekstu i sens kwantyzacji q4_0.
  • Co model liczy? Przy MoE tylko część wag. Stąd --cpu-moe i cache ekspertów.
  • Jak model wybiera? Sampling. Stąd błąd DRY.
  • Jak przyspieszyć bez zmiany wyniku? Spekulacja. Stąd ngram.

Najważniejsza lekcja jest jednak inna niż techniczna. Żaden z tych wniosków nie przyszedł z czytania. Każdy przyszedł z pomiaru, który pokazał coś innego, niż się spodziewałem. O tym, jak sprawdzam modele skryptem, a nie ich słowami, pisałem we wpisie 9B kontra 35B na 10 GB VRAM, a o tym, jak pamięć RAM wpływa na prędkość, we wpisie o cgroups.