Samodoskonalenie wchodzi na afisz: Sakana pokazuje pętlę, która uczy się od własnego zespołu
Najciekawszym wynikiem badawczym doby jest MASS, czyli samonadzór wieloagentowy, opublikowany przez firmę Sakana AI wraz z badaczami z Uniwersytetu Kalifornijskiego w Berkeley. Pomysł jest prosty w opisie i trudny w wykonaniu: jeden wspólny model językowy o otwartych wagach i dwudziestu siedmiu miliardach parametrów odgrywa jednocześnie trzy role — rozwiązuje zadanie, przepisuje sposób pracy zespołu i ocenia gotowe wyniki. Pętla działa w dwóch taktach. W wewnętrznym model przy zamrożonych wagach szuka najlepszego przepisu na zespół, czyli planu opisującego role, instrukcje, kontrakty oraz kolejność i przekazania między podagentami, i sam rozstrzyga, który plan jest lepszy. W zewnętrznym uruchamia zwycięski plan wielokrotnie, porównuje powstałe warsztaty pracy i doucza się metodą LoRA na ścieżkach uznanych za najlepsze. Istotny szczegół: przed douczaniem usuwa z promptu sam tekst planu, więc model uczy się organizowania pracy z treści zadania, a nie z gotowej instrukcji.
Wyniki po dwóch pełnych cyklach są wymowne. Na trzech odłożonych zadaniach testowych wskaźnik zwycięstw wobec modelu wyjściowego wzrósł z pięćdziesięciu trzech i dziewięciu dziesiątych procent do sześćdziesięciu dziewięciu i dziewięciu dziesiątych, a wynik na wygenerowany token sięgnął od jednego i dwóch dziesiątych do jednego i sześciu dziesiątych wartości modelu wyjściowego na czterech benchmarkach badawczych, między innymi MLR-Bench i ScienceAgentBench. Co zaskakuje samych autorów, umiejętności optymizera i oceniającego także się poprawiły, choć model douczał się wyłącznie na ścieżkach rozwiązywania zadań. Zespół policzył też koszt: model MASS osiągnął sześćdziesiąt osiem i trzy dziesiąte procent zwycięstw po przejrzeniu dwudziestu ośmiu i ośmiu dziesiątych miliona nadzorowanych tokenów, podczas gdy najmocniejszy wariant jednoagentowy potrzebował czterdziestu dwóch milionów, czyli o trzydzieści jeden procent więcej. Uczciwie trzeba dodać, że poprawa koncentruje się w zadaniach badawczych; na dwóch benchmarkach inżynierii oprogramowania transfer spadł poniżej poziomu wyjściowego. Ocenę zewnętrzną prowadzono modelami GPT-5.5 i Claude Opus 4.8, przy czym ich werdykty były ukryte przed pętlą treningową.
Najważniejszy z ablacji jest wniosek o wąskim gardle. Gdy autorzy podstawili mocniejszy model wyłącznie jako oceniającego, poprawa była niewielka; gdy wzmocnili jednocześnie optymizera, pętla znajdowała zwycięskie plany dla wszystkich dwunastu zadań w pięciu iteracjach. Wniosek brzmi: słaby optymizer nie potrafi strawić nawet dobrej informacji zwrotnej, więc w budżecie samooceny najpierw wzmacnia się tę rolę, a nie ocenę. Sami autorzy wskazują przy tym Achillesową piętę takiego układu: skoro jeden model wytwarza, ocenia i uczy się od tego samego, wspólne braki mogą przejść przez całą pętlę jako pozorny postęp, a kolejne aktualizacje mogą wzmacniać ten sam błąd. Praca jest na arXiv, kod na GitHubie, a wyniki pochodzą od autorów i czekają na niezależne odtworzenie. W tym samym nurcie ten sam ośrodek pokazał wcześniej trójstopniowy recenzent naukowy MLR, oparty na modelach Claude, który wykrył siedemdziesiąt trzy i czterdzieści trzy setne procent wstrzykniętych błędów w kluczowych tezach na zbiorze tysiąca stu sześćdziesięciu czterech fałszywek, wobec czternastu i osiemdziesięciu jeden setnych procent najlepszego wcześniejszego systemu — ale na prawdziwych, wycofanych pracach z arXiv skuteczność spadła do szesnastu i jedenastu setnych procent, co pokazuje granicę takiej automatycznej oceny.