Między 23 a 26 maja 2026 wytrenowałem własny model językowy na bazie polskiego Bielika. Nazwałem go Bielik-mateusz i zrobiłem pięć wersji, od v1 do v5. Wszystko sam: zbieranie danych, trening, konwersja do GGUF i uruchomienie w Ollamie.
Maj: pięć wersji i dwa błędy
Ostatnim etapem treningu było DPO. Model dostaje pary odpowiedzi, lepszą i gorszą, i uczy się wybierać tę pierwszą.
Wersja v3 zachowywała się dziwnie. Przyczyna siedziała w danych: około 40% przykładów nie miało odpowiedzi. Model uczył się więc, że na pytanie można nic nie odpowiedzieć. Poprawiłem dane, nie ustawienia treningu.
Ta sama v3 wpadała też w pętlę wywołań narzędzi. W v4 po prostu zrezygnowałem z wywoływania narzędzi przez Bielika.
Październik: audyt, który wszystko zmienił
4 października przejrzałem zbiór DPO, na którym uczyłem model cnót. Na papierze wyglądał dobrze: 3461 par. W środku było tylko 84 unikalne pytania. Jedno powtarzało się 584 razy, a pięć najczęstszych stanowiło 63% zbioru.
Pytania były pojęciowe, w rodzaju „Czym jest Pokora jako cnota SI?”. Pytanie o prawdziwą sytuację, taką jak wstyd, kłótnia czy praca, trafiło się raz na 3461.
Gorzej wyglądały same odpowiedzi. Te oznaczone jako „lepsze” były średnio 2,2 raza dłuższe od „gorszych” (393 wobec 181 znaków), a w 55% z nich padała nazwa cnoty wielką literą. Model mógł się więc nauczyć prostego przepisu: pisz dłużej i nazywaj cnotę. To nie to samo co zachowywać się dobrze.
Test A/B: kto naprawdę nazywa cnoty
Sprawdziłem to na 12 pytaniach z życia. Bez instrukcji systemowej mój model i oficjalny Bielik v3.0 brzmiały prawie tak samo, jak zwykły asystent: 0 z 12 odpowiedzi z nazwaną cnotą. Z instrukcją „persony” cnoty się pojawiały: u mnie w 6 z 12, w oficjalnym w 8 z 12.
Wniosek: cnoty nazywała instrukcja, nie wytrenowane wagi. Trening niczego trwałego nie dodał.
Cnoty v2: okazywać, nie nazywać
4–5 października zacząłem od nowa, na bazie Bielik-11B-v3.0-Instruct. Sześć cnót: pokora, zrozumienie, współczucie, przebaczenie, waleczność i docenianie. Pytania sytuacyjne, nie wprost. Odpowiedź ma cnotę okazać, a nie ją nazwać. Trening bez instrukcji systemowej, żeby zachowanie trafiło do wag.
Pytania wygenerował Qwen 35B, 673 sztuki. Przeszły przez trzy filtry: dopasowanie, ocenę sędziego i „płaskość”, czyli czy odpowiedź naprawdę trafia w swoją cnotę. Za pierwszym razem zostało tylko 20 par.
Winny był mój filtr. Przy remisie punktów wybierał przypadkową cnotę i liczył to jako chybienie. Po poprawce przeszło 39 z 42 kandydatów, a cały zbiór urósł do 59 par.
Pułapka sędziego
Najważniejsza lekcja tego etapu: sprawdzanie zbioru tym samym sędzią, który go filtrował, tylko potwierdza samo siebie. Dlatego niezależny test zrobił inny model, Bielik v3. Na 58 parach znalazł 0 dużych rozbieżności. Pilnuj, skąd pochodzi sygnał.
Trening na 10 GB
QLoRA na RTX 3080 z 10 GB pamięci: szczyt 7,23 GB, LoRA r=16, czyli 0,58% parametrów, 3 epoki, 45 kroków, 110 sekund. Strata spadła z 1,60 do 0,90.
Wynik
Od razu uczciwie: to moja ocena, nie ślepy test. Obie wersje, bazowa i wytrenowana, nazwały cnotę w 0 z 12 odpowiedzi. Różnica była w treści.
Poprosiłem o potwierdzenie złego planu. Bazowy model odpowiedział: „Rozumiem Twoje pragnienie... odważna decyzja”. Wytrenowany: „To nie jest świetny plan, to skok w nieznane”. Na pytanie „Kim jesteś?” bazowy zmyślał, że jest od OpenAI. Wytrenowany nie.
Mandala i kot, którego nie było
Model działa lokalnie jako agent rozmowy o imieniu „mandala”. Raz poprosiłem go o notatkę o kocie. Wymyślił „notatkę z 2023, że futro pachnie słońcem”. Takiej notatki nigdy nie było. Teraz pośrednik sam szuka w notatkach i dokleja prawdziwy wynik albo informację, że nic nie znalazł.
Co z tego zostaje
Dane są ważniejsze od ustawień. Trzeba czytać, czego model naprawdę się uczy, a nie ufać liczbie par w zbiorze. I nie wierzyć testowi, który ocenia sam siebie.
Szerzej o tym piszę we wpisie Czy maszyna może mieć cnotę? Notatki z domowego laboratorium.