Sześć. Modele decyzyjne i telegraf: drobny model, duża oszczędność
Szósty wątek dotyczy warstwy, która w porannej analizie pojawiła się jako Decisions API OpenAI, a dziś dostaje otwarty odpowiednik. AWS Strands Labs wypuściło Strands Decider 2B, dwumiliardowy model decyzyjny na licencji Apache 2.0, którego wagi, kod, lista danych treningowych i pełny przepis są publiczne. Jak opisuje blog Strands i omówienie Marktechpost, model nie generuje tekstu w ogóle: bierze stan i zestaw pytań, a zwraca wybór z listy opcji albo skalibrowany wskaźnik pewności, przy czym architektonicznie to model Qwen 3.5 o dwóch miliardach parametrów, któremu usunięto głowicę generującą tekst i zastąpiono ją małą głowicą wskaźnikową działającą w jednym przebiegu. Na publicznym zbiorze benchmarku JevBench osiąga 0,723, a mediana opóźnienia na karcie RTX 3090 wynosi sto piętnaście milisekund. To ta sama logika, którą poranek opisał przy Decisions API, tyle że jako otwarty model do uruchomienia lokalnie, a cała ta klasa, nazywana modelami systemu pierwszego, wzięła się z wrześniowej premiery Jev od TypeSafe AI.
Drugą warstwą oszczędności jest pomysł opisany na blogu fiveminutesforward i wypromowany na czele Hacker News. Tak zwany Test Telegraficzny polega na tym, że modelom każe się zapisywać notatki w stylu dawnej depeszy telegraficznej, bez rodzajników i wypełniaczy, z zachowaniem wszystkich faktów i liczb. Okazało się, że ta jedna instrukcja zmniejsza liczbę wyjściowych tokenów o około czterdzieści do czterdziestu dziewięciu procent, a inne modele, często z zupełnie innych rodzin, czytają takie skompresowane notatki równie dobrze albo lepiej niż wersję zwykłą. Samo GLM-5.3-Flash osiągnęło oszczędność 48,4 procent. Autor zastrzega, że kluczowy warunek kontrolny nie został uruchomiony, więc teza o ukrytym rejestrze w danych treningowych pozostaje dobrze uzasadnioną hipotezą, a nie dowodem, a oszczędność działa tylko przy modelach, którym można wyłączyć rozumowanie. Mimo tych zastrzeżeń to jeden z niewielu przykładów optymalizacji, która nie wymaga nowego sprzętu ani treningu, a natychmiast obniża koszt operacyjny agentów.
Źródło: hacker-news