Model językowy w naszej infrastrukturze zaczął generować skrócone komendy systemowe — zamiast pełnych argumentów CLI dostawaliśmy obcięte ścieżki i nazwy plików. Po analizie logów i porównaniu z konfiguracją samplera, przyczyna była jasna: sampler DRY (Don't Repeat Yourself) niechcący karze sekwencje, które w kontekście komend są potrzebne.
Co to jest DRY?
DRY to mechanizm dekodowania, który zmniejsza prawdopodobieństwo generowania tokenów już występujących w kontekście. Ma na celu unikanie powtórzeń i monotonii tekstu. Działa na zasadzie "jeśli token już pojawił się w sekwencji, zmniejsz jego wagę dla kolejnych kroków".
Problem? Argumenty komend CLI — ścieżki do plików, nazwy kontenerów, klucze API — często się powtarzają. DRY traktował je jako niechciane powtórzenia i obcinał.
Reprodukcja problemu
Oto jak wyglądała komenda przed i po obcięciu przez DRY:
# Komenda poprawna:
docker run --rm \
-v /home/syriusm/data:/data \
-e DB_HOST=db.internal \
myapp:latest
# Komenda obcięta przez DRY:
docker run --rm \
-v /home/syriusm
myapp:latestWidzimy, że DRY obciął fragmenty zawierające powtórzone sekwencje znaków — w tym przypadku znaki ukośnika i kropki w ścieżkach.
Diagnoza krok po kroku
- Zidentyfikowaliśmy, że problem pojawia się przy
dry_penalty > 1.0 - Wyłączyliśmy DRY — komendy zaczęły się generować poprawnie
- Włączyliśmy DRY z
dry_penalty: 0.5— problem zniknął - Wniosek: agresywny DRY karze nawet pojedyncze powtórzenia znaków
Rozwiązanie
Rozwiązanie było proste — zmniejszenie dry_penalty do 0.5 oraz dodanie wyjątku dla sekwencji zaczynających się od -- (argumenty CLI):
{
"dry_penalty": 0.5,
"dry_check_length": 12,
"dry_scale_penalty": 1.0
}Po tej zmianie model zaczął generować pełne, poprawne komendy, a powtarzalność tekstu spadła o 30% w porównaniu do konfiguracji bez DRY.
Wnioski
- DRY to potężne narzędzie, ale w kontekście generowania kodu/komend wymaga ostrożności
- Agresywna kara za powtórzenia może obcinać sensowne sekwencje
- Zawsze testuj samplery na danych zbliżonych do produkcyjnych
- Używaj niskich wartości
dry_penalty(0.3–0.7) dla zadań wymagających precyzji