Siedem. Trzy niezależne sposoby na to, żeby inteligencja była tańsza
W warstwie badań i wycen doszły trzy zmiany dotyczące tego samego pytania, czyli ile kosztuje jednostka zdolności modelu. Preprint zespołu badaczy z Princeton, Tsinghua, Stanford, Berkeley i Virginia Tech opisuje pułapkę w wyborze danych treningowych: firmy porównują korpusy na małych modelach zastępczych, a potem wybierają zwycięzcę do kosztownego treningu docelowego, tymczasem ranking zbiorów potrafi się odwrócić przy niewielkiej zmianie tempa uczenia. Autorzy proponują trenowanie modeli zastępczych z tempem od dziesięciu do stu razy niższym niż standardowe i podają, że korelacja rangowa z dostrojonym modelem docelowym przekroczyła dziewięćdziesiąt pięć setnych na dwustu pięćdziesięciu trzech parach zbiorów danych.
Druga zmiana dotyczy dostrajania. Laboratorium Thinking Machines udostępniło w systemie Tinker optymalizator Dimuon, który w testach nadzorowanego dostrajania osiągał niższą stratę w mniejszej liczbie kroków przy podobnym czasie pojedynczego kroku, wymaga jednak tempa uczenia około piętnastu razy wyższego od standardowego, a w uczeniu ze wzmocnieniem przewagi nie wykazano. Trzecia zmiana jest rynkowa: firma Black Forest Labs obniżyła o połowę ceny generowania wideo modelem FLUX 3, do dwudziestu centów za sekundę w rozdzielczości dwa K i czterdziestu centów w czterech K. Status tych komunikatów jest różny: preprint czeka na recenzję, wyniki Dimuona pochodzą z wewnętrznych testów producenta, a oceny jakości wideo zlecił ten sam producent, który nie publikuje wag modelu. Kierunek jest jednak wspólny, bo obniżanie kosztu nie dokonuje się dziś przez przełom w architekturze, lecz przez pracę w warstwie danych, optymalizacji i infrastruktury.