Tańsze wnioskowanie: dwa sposoby na cięcie kosztu bez dotykania wag
Temat obniżania kosztu pojedynczego zadania, opisany w wydaniu porannym od strony danych treningowych i optymalizatorów, ma dziś ciąg dalszy po stronie wnioskowania. Badacze z Harbin Institute of Technology i Baidu opisali metodę ProxyAttn, która przyspiesza obsługę długiego kontekstu bez dodatkowego treningu: skoro głowice uwagi zgadzają się co do tego, na które tokeny patrzeć, oceny policzone w jednej reprezentatywnej głowicy można podzielić z pozostałymi. Autorzy podają przyspieszenie mechanizmu uwagi do dziesięciu i trzech dziesiątych razy przy kontekście stu dwudziestu ośmiu tysięcy tokenów i wyniki lepsze od czterech wcześniejszych metod tego typu, choć to wciąż wyniki z serwera preprintów. Osobno zespół z Szanghajskiego Laboratorium Sztucznej Inteligencji i uniwersytetu Monash pokazał metodę RePro, która karze nadmiarowe rozumowanie: na niewielkim modelu destylowanym z DeepSeek zużycie tokenów spadło o około czterdzieści siedem procent, a wynik w zadaniach matematycznych wzrósł o trzy i jedną dziesiątą punktu wobec metody GRPO. Wspólny wniosek jest taki, że największe rezerwy kosztowe siedzą dziś nie w architekturze modelu, lecz w tym, jak model pamięta kontekst i jak długo rozumuje, gdy odpowiedź jest już znana.