Badania: dane zamiast parametrów, tokeny zamiast klatek i syntetyczna rozmowa zamiast akt
Piąty temat zbiera trzy świeże materiały badawcze, które pozornie dotyczą różnych rzeczy, a odpowiadają na jedno pytanie: gdzie odjąć koszt, nie tracąc sensu wyniku. Pierwszy z nich to model CLIP z rodziny DFN, w wariancie oznaczonym jako pięć B, który osiąga osiemdziesiąt cztery i dwie dziesiąte procenta dokładności w klasyfikacji ImageNet bez dodatkowego treningu na tym zbiorze, czyli w trybie zero-shot. Architektura jest standardowa: enkoder obrazu ViT H z wejściem trzysta siedemdziesiąt osiem na trzysta siedemdziesiąt osiem pikseli oraz enkoder tekstu, a całość ładuje się w bibliotece OpenCLIP jako zamiennik starszych modeli tej rodziny. Różnica nie leży więc w architekturze, lecz w danych: według artykułu badaczy z Apple i Uniwersytetu Waszyngtońskiego zbiór DFN pięć B powstał przez przepuszczenie około czterdziestu trzech miliardów par obrazu i tekstu przez małą, wyuczoną sieć filtrującą, która zostawiła pięć miliardów. Kluczowy wynik dotyczy samego filtru: jakość sieci w klasyfikacji słabo przewiduje jakość tworzonego przez nią zbioru, bo niektóre sieci z mocnym wynikiem na ImageNet dawały gorsze dane, a słabsze klasyfikatory filtrowały lepiej. Wytrenowanie filtra kosztowało mniej niż jedną pięćdziesiątą kosztu późniejszego treningu modelu, więc płaci się tu za wybór danych, a nie za rozmiar. Zastrzeżenia są opisane wprost: model jest słaby w liczeniu, szacowaniu odległości i rozpoznawaniu rzadkich gatunków, dostępny jest tylko checkpoint bez procedury odtworzenia zbioru, a licencja jest własna, Apple Machine Learning Research, więc warunki komercyjne trzeba czytać osobno.
Drugi materiał dotyczy tokenów wideo. KiToke to metoda kompresji w modelach językowych, która nie wymaga ponownego treningu. Wejście wideo potrafi wygenerować dziesiątki tysięcy tokenów, a uwaga w transformerze porównuje pary tokenów, więc koszt obliczeń i pamięci rośnie w przybliżeniu z kwadratem długości sekwencji. KiToke ocenia każdy token przez sumę podobieństwa do wszystkich pozostałych: powtarzalne tło i statyczne kadry mają wysoką gęstość i wypadają, a to, co rzadkie, zostaje, przy czym metoda dobiera przedziały czasowe tak, żeby nie scalać tokenów przez cięcie montażowe. Przy zatrzymaniu jednego procenta tokenów model zachowuje osiemdziesiąt dziewięć i dwie dziesiąte procenta dokładności modelu niekompresowanego na LLaVA-OneVision, co ma być wynikiem o siedem punktów lepszym od poprzedniego najlepszego rozwiązania, a przyspieszenie wstępnego przetwarzania na karcie graficznej A sto wynosi dwanaście i pięć dziesiątych raza. Działa to na LLaVA-OneVision, LLaVA-Video i Qwen trzy VL od pół miliarda do siedemdziesięciu dwóch miliardów parametrów. Zastrzeżenie podsuwa sam wynik: jedenaście procent utraty dokładności to nie detal, a przy jednym procencie tokenów najbardziej prawdopodobnym błędem jest pominięcie krótkiej akcji albo małego obiektu, czyli tego, czego szuka się w monitoringu i w dokumentacji medycznej.
Trzeci materiał dotyczy danych, których nie da się kupić. Zespół z instytutu Idiap, Uniwersytetu Carnegie Mellon i Uniwersytetu Johnsa Hopkinsa zbudował zbiór Synth-DoPaCo: osiem tysięcy osiemset syntetycznych rozmów lekarza z pacjentem, liczących łącznie tysiąc trzysta dwadzieścia dziewięć godzin nagrań. Dialogi generował model Gemma trzy o dwudziestu siedmiu miliardach parametrów na podstawie profili pacjentów, syntezator Qwen trzy TTS o jednym i siedmiu dziesiątych miliarda parametrów czytał je wieloma głosami z symulowaną akustyką pomieszczenia, a model Kimi K dwa Thinking pisał notatki kliniczne będące punktem odniesienia. Systemy kaskadowe, w których rozpoznawanie mowy i model językowy działają osobno, wypadły znacznie lepiej w wierności notatek niż modele audio od końca do końca, w tym Qwen trzy Omni, a ocena percepcyjna nagrań wyniosła jeden i dwadzieścia siedem setnych punktu wobec jednego i dwudziestu ośmiu setnych dla prawdziwych nagrań próbnych. Zbiór treningowy i walidacyjny ma się ukazać przy konferencji Interspeech, a testowy jest zatrzymany, żeby nie skazić pomiarów. Syntetyczna rozmowa pozostaje protezą, bo powstaje z tych samych modeli, które potem są na niej oceniane, ale w dziedzinie zablokowanej przez prywatność jest jedynym sposobem, żeby niezależni badacze mieli na czym pracować.