Pięć. Front badawczy: bity zamiast tokenów i cały stos śledzenia punktów wideo
W warstwie badań uwagę przyciąga publikacja, która trafiła do czasopisma Nature. Jak podał Allen Institute for AI, praca jego zespołu „Retrofitting language models to operate over bytes”, o przystosowaniu istniejących modeli językowych do pracy bezpośrednio na bajtach, ukazała się w Nature przy okazji konferencji COLM 2026 w San Francisco. To badanie stoi za modelem Bolmo. Chodzi o rzecz fundamentalną: większość współczesnych modeli językowych najpierw dzieli tekst na kawałki z ustalonego słownika — tak zwane tokeny — a dopiero potem go przetwarza. Praca pokazuje, że istniejący model można przestawić na pracę z samymi bajtami za pomocą stosunkowo krótkiego dodatkowego treningu, dzięki czemu radzi sobie z detalami, które tokenizacja rozmywa, na przykład z literowaniem czy zadaniami znakowymi. Drugi wynik tego ośrodka donosi z kolei, że hybryda łącząca uwagę transformera z warstwami rekurencyjnymi osiągnęła tę samą trafność co model Olmo 3 o siedmiu miliardach parametrów na benchmarku MMLU, zużywając o czterdzieści dziewięć procent mniej tokenów treningowych. Warto odnotować jeszcze jeden fakt, który mówi o jakości tej pracy więcej niż jakikolwiek wykres: Google ogłosił, że odtworzył trening Olmo 3 o siedmiu miliardach parametrów w swoim systemie MaxText na procesorach TPU. Kiedy konkurent z otwartego, w pełni dostępnego przepisu jest w stanie odtworzyć czyjś trening, to najlepszy dowód, że otwartość naukowa działa. Wyniki obu prac pochodzą od samego ośrodka i wymagają replikacji, choć publikacja w recenzowanym Nature podnosi poprzeczkę zaufania znacznie wyżej niż zwykły wpis na blogu.
W tym samym nurcie otwierania zasobów Google DeepMind udostępniło repozytorium TapNet, zbierające w jednym miejscu siedem modeli do śledzenia dowolnego punktu w wideo — między innymi TAPIR, TAPNext++ i RoboTAP — wraz z wagami na licencji Apache 2.0 i punktami kontrolnymi w środowiskach JAX i PyTorch. To umiejętność kluczowa dla robotyki i edycji wideo, a deklarowane wyniki, jak sześćdziesiąt siedem procent modelu TAPNext++ na benchmarku DAVIS, pochodzą od producenta i nie zostały niezależnie odtworzone.