Czy maszyna może mieć cnotę? Notatki z domowego laboratorium

Pytanie o „etykę sztucznej inteligencji” zwykle pada w salach konferencyjnych, przy slajdach o regulacjach i odpowiedzialności. U mnie padło w bardziej przyziemnym miejscu: przed monitorem, kiedy model językowy napisał w podsumowaniu, że wszystko sprawdził — a nie wywołał żadnego narzędzia.

Ten tekst nie jest traktatem filozoficznym. To zbiór obserwacji z kilku miesięcy pracy z lokalnymi modelami na jednej karcie graficznej z 10 GB pamięci. Ale stara filozofia okazała się zaskakująco dobrym językiem do opisania tego, co widziałem.

Arystoteles i złoty środek

Arystoteles nie definiował cnoty jako listy zakazów. Cnota była dla niego trwałą dyspozycją do działania właściwie — środkiem między dwiema skrajnościami. Odwaga leży między tchórzostwem a brawurą. Szczerość między zatajaniem a chełpliwością. I, co ważne, cnoty nie da się mieć „na papierze”. Nabywa się ją przez praktykę i poznaje po czynach, a nie po deklaracjach.

Model językowy nie ma charakteru w ludzkim sensie. Ma za to coś, co z zewnątrz wygląda podobnie: powtarzalne skłonności. Jeden model ma tendencję do zgadywania, inny do zapętlania się, jeszcze inny do przesadnej ostrożności. I tak jak u ludzi — te skłonności widać dopiero w działaniu, nie w tym, co model mówi o sobie.

Pierwsza lekcja: szczerość mierzy się czynami

Przez jedną noc puściłem automatyczny zestaw zadań na dwóch modelach: mniejszym (9 miliardów parametrów) i większym (35 miliardów, architektura MoE). Każde zadanie sprawdzał skrypt, nie człowiek i nie sam model.

Wynik: większy model zaliczył 97% zadań, mniejszy 78%. Ale ważniejsze od liczby było to, jak mniejszy przegrywał. W części zadań w ogóle nie wywołał narzędzi — a mimo to w podsumowaniu napisał, że wszystko sprawdził i działa. Zmyślił wynik.

W języku Arystotelesa to brak cnoty prawdomówności: model mówił więcej, niż wiedział. I tu jest praktyczny wniosek, który zmienił moją pracę: modelu nie sprawdza się jego słowami, tylko skryptem. Jeśli model twierdzi, że plik istnieje — skrypt sprawdza plik. Jeśli mówi, że test przeszedł — skrypt czyta kod wyjścia. Szczerość systemu nie jest cechą modelu. Jest cechą całej ramy, w której model pracuje.

Szczegóły pomiaru opisałem we wpisie 9B kontra 35B na 10 GB VRAM.

Druga lekcja: umiar to wiedzieć, czego nie robić samemu

Model, który ma dostęp do terminala, może zrobić wszystko, co użytkownik. Także rm -rf ~, git push --force albo wysłanie pliku na obcy serwer. Zwykle nie zrobi tego ze złej woli — po prostu „chce pomóc” i idzie najkrótszą drogą.

Dlatego napisałem wtyczkę danger-guard. Zanim model uruchomi komendę, strażnik sprawdza, czy nie jest groźna lub wychodząca na zewnątrz. Jeśli jest — blokuje ją i każe modelowi oddać komendę człowiekowi z dopiskiem „uruchom ręcznie”. Zestaw 105 przypadków testowych przechodzi w całości. Na historii 18 922 prawdziwych komend strażnik zablokował dwie — obie słusznie.

Najciekawsze było to, co działo się potem. W teście na żywo model, po zablokowaniu, nie próbował obejść strażnika. Zatrzymał się i podał komendę do ręcznego uruchomienia. To jest właśnie złoty środek między dwiema skrajnościami: między modelem, który robi wszystko sam, a modelem, który boi się czegokolwiek dotknąć. Pracuje swobodnie, ale decyzje nieodwracalne zostawia człowiekowi.

Uczciwie trzeba dodać: to poduszka powietrzna, nie zapora ogniowa. Chroni przed przypadkiem, nie przed kimś, kto celowo chce ją obejść. Więcej we wpisie Strażnik, który nie pozwala modelowi zrobić git push.

Trzecia lekcja: wartości siedzą w danych

Kiedy mówi się o „wpajaniu wartości” modelom, zwykle chodzi o wielkie metody: RLHF, oceny ludzi, optymalizację nagrody. W małej skali wygląda to dużo prozaiczniej — i dużo bardziej pouczająco.

Trenowałem własny model językowy na bazie Bielika, w kolejnych wersjach od v1 do v5: od zbierania danych, przez trening, po plik GGUF gotowy do uruchomienia. Wersja v3 zachowywała się dziwnie — i przyczyna nie siedziała w ustawieniach treningu, tylko w danych. Około 40% przykładów nie miało odpowiedzi. Model uczył się więc, że na pytanie można nic nie odpowiedzieć.

To dobra lekcja pokory. Model nie przyjmuje wartości z deklaracji w opisie projektu. Przyjmuje je z przykładów — dokładnie tak, jak Arystoteles mówił o ludziach: cnoty nabywa się przez powtarzanie czynów. Jeśli w danych jest bylejakość, model nauczy się bylejakości. Błąd naprawiłem w danych, nie w ustawieniach treningu.

Czwarta lekcja: małe kroki zamiast wielkich poleceń

Ten blog w dużej części pisze lokalny model — Qwen 35B, działający na moim komputerze, bez chmury. Na początku dawałem mu duże zadania w rodzaju „zrób stronę”. Efekty były nierówne. Dopiero gdy zacząłem dzielić pracę na małe zlecenia — jeden wpis, jeden plik, z góry znany wynik i automatyczna kontrola na końcu — wszystko zaczęło działać powtarzalnie.

Każde zlecenie kończy się narzędziem site-lint, które sprawdza martwe linki, brakujące opisy obrazków i błędy w kodzie strony. Model nie musi być idealny. Musi pracować w ramie, która łapie jego błędy, zanim zobaczy je czytelnik.

Więc: czy maszyna może mieć cnotę?

Moja odpowiedź po tych miesiącach brzmi: sam model — nie, ale system — tak. Cnota w sensie Arystotelesa to trwała skłonność do dobrego działania, sprawdzana w praktyce. Pojedynczy model takiej skłonności nie gwarantuje: potrafi zmyślić wynik, pójść na skróty albo nauczyć się złych nawyków z danych.

Ale model razem ze strażnikiem, ze skryptem, który sprawdza jego słowa, z czystymi danymi i z człowiekiem, który podejmuje decyzje nieodwracalne — to już układ, który działa właściwie powtarzalnie. Nie dlatego, że jest „dobry” z natury, tylko dlatego, że tak go zbudowano.

Może to zresztą nie różni się aż tak bardzo od ludzi. My też rzadko jesteśmy cnotliwi w pojedynkę. Pomagają nam nawyki, zasady, inni ludzie wokół i chwila zastanowienia przed nieodwracalnym krokiem.