Interpretowalność okazuje się łatwiejsza niż sądzono, a program i sieć okazują się jednym
W warstwie badań pojawił się wczoraj tekst, który mocno poruszył środowisko techniczne i przez wiele godzin prowadził dyskusję na Hacker News. Nick Cammarata z firmy Goodfire, współautor klasycznej pracy o obwodach w sieciach neuronowych, przedstawił w długim eseju tezę, że polisemantyczność, czyli pozorna wieloznaczność neuronów, nie wynikała z superpozycji, jak sądzono od lat, lecz z tak zwanej rekurencyjnej generalizacji oraz zwykłych błędów architektury. Jak opisuje, po wprowadzeniu zwyczajnych poprawek w modelu InceptionV1 od dziewięćdziesięciu dziewięciu do stu procent neuronów ostatniej warstwy stało się łatwo interpretowalnych bez zmiany rozmiaru ani danych treningowych, a wstępne audyty modelu Qwen3 o trzydziestu dwóch miliardach parametrów wskazują, że około dziewięćdziesięciu procent neuronów ma jedną główną funkcję, a tylko dwa do czterech procent pozostaje niezrozumiałych. Wniosek autora jest optymistyczny dla mechanistycznej interpretowalności, czyli próby zrozumienia sieci bezpośrednio, a nie przez trenowanie drugiego modelu, który miałby ją rozplątać. Zastrzeżenie jest jednak poważne i sam autor je stawia: to hipoteza robocza, a nie recenzowana publikacja, a jej potwierdzenie wymaga powtórzenia przez innych badaczy na różnych rodzinach modeli.
Źródło: hacker-news
Drugi wątek idzie jeszcze dalej w stronę granicy między programem a siecią. Inżynier Cheng Lou, dawniej związany z zespołem Reacta, opublikował na licencji otwartej eksperyment Handwired, który kompiluje programy w języku JavaScript, w tym warunki i pętle, wprost w sieć neuronową o wagach przypisanych przez kompilator, bez jakiegokolwiek treningu. Jak opisuje AlphaSignal, wynikowa sieć odtwarza logikę programu przez mnożenia macierzy i funkcje aktywacji, jest w pełni różniczkowalna, więc wagi można odmrozić i dostrajać zwykłą propagacją wsteczną, a działający demonstracyjny system operacyjny mieści się w niespełna dziesięciu tysiącach wag w stu trzydziestu warstwach. To projekt-zabawka, jak pisze sam autor, ale pokazuje coś istotnego dla praktyki: program klasyczny i sieć neuronowa są dwoma punktami na jednym kontinuum, a nie dwoma odrębnymi światami, co może mieć znaczenie przy projektowaniu modeli, w których część logiki chcemy mieć dokładną i sprawdzalną, a część wyuczoną.
Źródło: alphasignal