Dlaczego model zwalniał do 2 tok/s, choć karta była wolna

Qwen 35B (MoE) trzyma ekspertów w RAM. Domyślny cache promptów llama.cpp (8 GB) i inne programy wypychały wagi z RAM — model spadał do 2–5 tok/s, a dysk robił ~1 mln odczytów na 200 tokenów.

Naprawa

Poprawka składa się z trzech elementów: ograniczenia cache'u (--cache-ram 2048), ustawienia MemoryHigh i MemoryMax w jednostce systemd oraz dodania MemoryLow. Kluczowy haczyk: memory.low w cgroup v2 działa tylko wtedy, gdy mają go WSZYSCY przodkowie (app.slice, user@1000.service, user-1000.slice, user.slice) — trzeba ustawić go na całej ścieżce.

Do tego MemorySwapMax=0, bo eksperci trafiali do zram i model spadał do 15–29 tok/s.

[Service]
MemoryLow=19G
MemoryHigh=20G
MemoryMax=22G
MemorySwapMax=0

Wynik

Skutkiem jest ~96 tok/s generowania. To samo pomogło Gemmie 4 przy włączonej grze (zadanie testowe z timeoutu 900 s do ~1 minuty).