Cztery. Modele decyzyjne odtworzone domowym sposobem — i ich słabość
Czwarty wątek jest najciekawszy technicznie, bo dotyczy kategorii, którą branża wynosiła w ostatnich dniach do rangi nowego paradygmatu. Najwyżej ocenianym technicznym wpisem minionej doby na Hacker News jest artykuł „Build your own decision model”, w którym autor pokazuje, jak w kilkudziesięciu linijkach kodu odtworzyć zachowanie modeli decyzyjnych — takich jak Jev od TypeSafe, Microsoft Decision-1 czy endpoint Decisions API od OpenAI, opisywany w wydaniu z 7 października — przy użyciu darmowego modelu Qwen3-1.7B z otwartych wag. Idea modelu decyzyjnego polega na tym, że nie generuje tekstu token po tokenie, lecz w jednym przebiegu zwraca rozkład prawdopodobieństwa przypisany do z góry zadanych opcji. Autor osiąga ten efekt tak zwanym dekodowaniem ograniczonym: maskuje całe słownictwo poza tokenami dostępnych odpowiedzi i normalizuje logity do prawdopodobieństw. Na zbiorze CommonsenseQA jego model osiąga blisko pięćdziesiąt dziewięć i cztery dziesiąte procent trafności bez dostrajania i ponad sześćdziesiąt dwa procent po krótkim douczeniu.
Źródło: hacker-news
Najważniejsza jest jednak druga część tekstu, czyli pokazanie słabości. Prawdopodobieństwa zwracane przez taki model wyglądają jak pewność siebie, ale nią nie są. Autor porównuje je z rzeczywistą trafnością i wychodzi mu, że model jest skrajnie nadmiernie pewny: w przedziale pewności od dziewięćdziesięciu do stu procent ma rację tylko w siedemdziesięciu procentach przypadków, a w przedziale osiemdziesiąt do dziewięćdziesiąt ledwie w około czterdziestu. Dopiero skalowanie temperatury, czyli sztuczne spłaszczenie rozkładu, wyrównuje pewność z trafnością. To wniosek o znaczeniu wykraczającym poza jeden eksperyment. Cały sens modeli decyzyjnych — a więc i ich wartość w automatyzacji, gdzie mają decydować, którą akcję wybrać albo kiedy zatrzymać agenta — opiera się na założeniu, że zwracane prawdopodobieństwa są skalibrowane, czyli zgodne z rzeczywistością. Tymczasem kalibracja nie jest domyślną właściwością modelu, lecz osobnym etapem pracy, którego nikt nie gwarantuje. Wobec deklaracji sprzedawców, że ich modele decyzyjne działają „o dwa rzędy wielkości szybciej i taniej”, uczciwy wniosek jest taki: sam mechanizm jest tani i łatwy do odtworzenia, więc przewaga nie leży w architekturze, lecz w tym, kto potrafi udowodnić, że jego liczby mówią prawdę.