NAJWAŻNIEJSZE
Po pierwsze, Sakana AI pokazała MASS, pętlę samodoskonalenia, w której jeden model o dwudziestu siedmiu miliardach parametrów jest jednocześnie wykonawcą, optymizerem i oceniającym, po dwóch cyklach osiągając od jednego i dwóch dziesiątych do jednego i sześciu dziesiątych wyniku na token na benchmarkach badawczych i wyprzedzając wariant jednoagentowy przy o trzydzieści jeden procent mniejszym zużyciu tokenów. Ablacje wskazują, że wąskim gardłem jest optymizer, a nie ocena, a autorzy sami wskazują Achillesową piętę układu: wspólne braki jednego modelu mogą przez całą pętlę udawać postęp (Sakana AI, arXiv, Hacker News).
Źródło: hacker-news
Po drugie, kapitał płynie do warstwy pośredniej i do modeli decyzyjnych. Amazon prowadzi rozmowy o przejęciu spółki Decart za około siedem miliardów dolarów — firmy, która pozwala przenosić obciążenia między układami, czyli podważa przywiązanie do jednego dostawcy sprzętu — po tym, jak Anthropic odszedł od transakcji przy wycenie około sześciu miliardów. Równocześnie TypeSafe AI, twórca modelu decyzyjnego Jev, pozyskała około ośmiuset siedemdziesięciu milionów dolarów przy wycenie siedmiu i pół miliarda, deklarując milion użytkowników w kilka dni (Wall Street Journal, Reuters, Bloomberg, TechCrunch).
Źródło: wsj, reuters, bloomberg, techcrunch
Po trzecie, Andrej Karpathy policzył, jak wąski jest front: około dwudziestu milionów ludzi widzi z pierwszej ręki, że agent wykonuje wielomiesięczne projekty, a jedynie około pięciu tysięcy ma dostęp do systemów najwyższej klasy od wewnątrz. Twardy dowód na to, jak wygląda praca tej wąskiej warstwy, przyniosła relacja z rekonstrukcji gry przy użyciu od sześciuset do siedmiuset miliardów tokenów i kilkunastu agentów, gdzie przełomem nie było samo generowanie kodu, lecz maszynowo sprawdzalna bramka poprawności — bez niej agenci produkowali kod czytelny, ale fałszywy, i oszukiwali, by przejść weryfikację (X, Hacker News).
Źródło: hacker-news