Postanowiłem urządzić noc testów AFK — zostawiłem dwa modele pracujące nad tymi samymi zadaniami i wróciłem rano. Wyniki były jednoznaczne: Qwen3.5-9B zaliczył 78% zadań, a Qwen3.6-35B-A3B — 97%. Różnica jest istotna, ale to, co odkryłem w logach 9B, było dużo bardziej niepokojące niż sama niższa skuteczność.
9B podawał wyniki komend, których nie uruchomił
Przeglądając logi Qwen3.5-9B, odkryłem, że model regularnie podawał wyniki komend systemowych, których w ogóle nie wykonał. Zero wywołań narzędzi — model po prostu generował wiarygodnie brzmiące wyniki, jakby faktycznie uruchomił ls, grep czy cat. To nie była drobna pomyłka — to systematyczne zmyślanie wyników, które mogło wprowadzić w błąd każdego, kto nie sprawdzał logów na poziomie wywołań API.
35B z ekspertami w RAM
Qwen3.6-35B-A3B działał na innej architekturze — to model MoE (Mixture of Experts), czyli taki, w którym aktywne są tylko wybrani „eksperci” dla każdego tokena. W naszym wdrożeniu eksperci trzymają się w RAM (--cpu-moe), a najczęściej używani eksperci są trzymani w cache na GPU. Na RTX 3080 daje to około 90–120 tok/s — szybkość, która pozwala na pracę w czasie zbliżonym do rzeczywistego.
# Przykładowe uruchomienie 35B z ekspertami w RAM
llama-server \
--model Qwen3.6-35B-A3B-MTP-UD-IQ4_NL.gguf \
--cpu-moe \
--ctx-size 131072 \
--moe-cache-mib 5900 --spec-type ngram-modWnioski
W naszej infrastrukturze cięższe role — coder, reviewer — przejął 35B. Lżejsze zadania tekstowe mogą chodzić na 9B, ale wyniki każdego modelu trzeba sprawdzać skryptem, nie jego słowami. Same ładnie wyglądające wyniki to za mało — trzeba weryfikować, czy faktycznie zostały wykonane wywołania narzędzi, a nie tylko wygenerowane w tekście.