Dust: pierwsza metoda trenowania transformerów bez propagacji wstecznej, która dorównuje backpropowi
Drugi fakt jest naukowy i dotyczy samego fundamentu uczenia maszynowego. Na Hacker News, gdzie trafił na pierwsze miejsce z ponad stupunktowym wynikiem i trzydziestoma komentarzami, a także w raporcie laboratorium qlabs.sh, pojawiła się praca opisująca metodę o nazwie Dust, która — jak twierdzą autorzy, Samip Dahal, Bishwas Mandal, Serdar Gülbahar i Akshay Vegesna — jako pierwsza metoda zerowego rzędu jest konkurencyjna z propagacją wsteczną przy wstępnym trenowaniu językowych modeli transformerowych. Istota polega na tym, że zamiast liczyć gradienty przez różniczkowanie, Dust zaburza aktywacje niezależnie na każdym tokenie, dzięki czemu każdy token staje się niejako osobnym osobnikiem populacji, a pojedyncze przejście w przód ocenia je wszystkie równolegle. To bardzo istotne rozróżnienie wobec wcześniejszych metod, bo dotychczasowe podejścia ewolucyjne działały w przestrzeni wag i były skrajnie kosztowne — Dust, jak twierdzą autorzy, jest od tysiąca do dziesięciu tysięcy razy wydajniejszy niż EGGROLL, jedna z najlepszych metod strategii ewolucyjnych w wersji dla transformerów.
Źródło: hacker-news
Warstwa krytycznej oceny jest tu konieczna, bo mamy do czynienia z raportem laboratorium, a nie z recenzowanym artykułem. Trzy rzeczy warto podkreślić. Po pierwsze, sami autorzy zaznaczają, że Dust zbliża się do backpropu „przy dużych populacjach", czyli przy istotnie większym nakładzie obliczeń — a w niektórych konfiguracjach nawet go przekracza, co jest sugestią, że w reżimie bogatym w compute można by przewyższyć backprop, ale nie jest to jeszcze dowód. Po drugie, wyniki dotyczą treningu do miliarda tokenów, a nie modeli klasy frontier, więc ekstrapolacja na skały przemysłowe pozostaje hipotezą. Po trzecie — i to jest najbardziej zaskakująca część — autorzy raportują, że większe modele są bardziej wydajne populacyjnie, nie mniej: model o 243 milionach parametrów bije przy większości rozmiarów populacji model sto dwadzieścia razy mniejszy, co odwraca powszechne przekonanie, że metody zerowego rzędu nie skalują się do dużych sieci. Sens praktyczny jest czytelny: jeśli to się potwierdzi, otwiera się droga do architektur, których nie da się trenować przez różniczkowanie, a to jest jedna z realnych barier, które dziś ograniczają projektowanie modeli. Trzeba to jednak traktować jako bardzo obiecującą przesłankę, a nie jako fakt ustalony.