Trzy. Ember-1: przewaga przestaje być w jakości, zaczyna być w liczbie tokenów
W warstwie samych modeli najciekawszy ruch ostatnich dni nie jest premierą frontieru, lecz jego obróbką. Fireworks, dostawca inferencji, opublikował 23 września Ember-1, pierwszy model własnego działu badawczego, który nie jest nową architekturą, ale douczeniem otwartego Kimi K3 tak, by myślał krócej. Efekt jest konkretny: według producenta rozumowanie skróciło się o trzydzieści pięć do pięćdziesięciu procent, a w testach A/B na ruchu produkcyjnym dwóch klientów liczba tokenów na zadanie spadła o około trzydzieści pięć procent przy niezmienionej punktacji. Jedna z tych tabel pokazuje spadek tokenów rozumowania o siedemdziesiąt jeden procent i kroków na zadanie z dwudziestu trzech i ośmiu dziesiątych do dwudziestu jeden i czterech dziesiątych. Cena za milion tokenów pozostała identyczna jak w Kimi K3, czyli trzy dolary za wejście, trzydzieści centów za pamięć podręczną i piętnaście dolarów za wyjście, więc każda oszczędność bierze się wyłącznie z tego, że model pisze mniej po drodze do odpowiedzi. Model wszedł jako badawcze podglądnięcie z dwutygodniowym oknem w usłudze serwerowej, a na Hacker News wątek o nim zebrał prawie czterysta punktów i blisko dwieście komentarzy.
Źródło: hacker-news
Krytyka jest tu konieczna i wielowarstwowa. Wszystkie liczby pochodzą od producenta, nie istnieje niezależna replikacja, a tabela benchmarków jest mieszana, nie jednostronna: Ember-1 wygrywa na Terminal Bench dwa i jeden, na DeepSWE i na jednym z testów agentowych, ale przegrywa na SWE-bench Verified, gdzie wynik spada z dziewięćdziesięciu trzech i dwóch dziesiątych do dziewięćdziesięciu dwóch i dwóch dziesiątych procent, oraz na SWE-Interact. Przy próbach rzędu pięćdziesięciu zadań różnica jednego punktu to jedno albo dwa zadania w tę lub w drugą stronę, więc „ta sama jakość" jest formułą marketingową, a nie zmierzoną własnością. Znaczenie tego ruchu nie leży jednak w pojedynczym modelu, lecz w kierunku, który pokazuje. Dostawca inferencji, który widzi prawdziwy ruch produkcyjny, doucza cudze otwarte wagi pod jedną, mierzalną oszczędność i sprzedaje ją firmom rozliczającym agentów od zużycia. To domyka wątek, który poprzednie wydania prowadziły przez Vals AI i obniżki OpenAI: cena za token przestaje cokolwiek mówić, a prawdziwą miarą staje się liczba tokenów na ukończone zadanie przy akceptowalnym wskaźniku poprawności. Wniosek dla każdego, kto budżetuje agentów, jest praktyczny: dwa modele o tej samej cenie katalogowej mogą różnić się o jedną trzecią w koszcie zadania, a porównanie trzeba robić na własnym ruchu, nie na cenniku (Fireworks, 23.09; Digital Applied i Hacker News, 27.09).
Źródło: vals-ai, hacker-news