Jeden. Godzinne zadania agentowe dostają własną infrastrukturę: Alibaba pokazuje QwenGyre
Najciekawszą nowością badawczą doby jest QwenGyre, środowisko uczenia ze wzmocnieniem opublikowane przez zespół Qwen firmy Alibaba i opisane dwunastego października przez serwis AlphaSignal. Punkt wyjścia jest znany każdemu, kto próbował uruchamiać agentów na serio: typowe systemy uczenia ze wzmocnieniem zakładają, że jedno przejście modelu przez środowisko trwa minuty, tymczasem zadania, do których agenci są dziś naprawdę potrzebni, czyli generowanie całych repozytoriów, refaktoryzacja kodu w skali projektu albo migracje technologiczne, potrafią trwać godzinami i obejmować setki wywołań narzędzi, a liczba tokenów na pojedyncze zadanie zbliża się do miliona. Taka zmienność czasu wykonania tworzy długi ogon: kilka wolnych zadań blokuje kolejny krok treningu po tym, jak większość już się zakończyła, i układy stoją bezczynnie.
Źródło: alphasignal
QwenGyre rozdziela czas życia jednego wykonania od przypisania do procesora i od próbki treningowej. Elastyczny scheduler dzieli klaster na komórki, czyli najmniejsze grupy układów zdolne pomieścić równoległy układ modelu; komórka może obsługiwać generowanie albo gościć replikę trenera, dzięki czemu wolne moce generowania dołączają do treningu bez przerywania działających zadań, a podczas zmiany roli pośrednik przekierowuje zapytania do innego silnika i przenosi pamięć kluczy i wartości przez bezpośredni dostęp do pamięci, żeby nie przeliczać już przetworzonych fragmentów. Procesor trajektorii zapisuje z kolei każde wykonanie jako drzewo o wspólnych prefiksach, dołącza każdy wygenerowany fragment do kontekstu, który go wytworzył, także ten sprzed kompresji kontekstu albo z sesji podagenta, i nie dubluje wspólnych celów w funkcji straty. Trzecia zmiana jest najbardziej praktyczna: zadanie, które przekroczyło limit czasu, ale zostawiło działające repozytorium z przechodzącymi testami, nie dostaje zera, lecz częściowy kredyt za to, co udało się zachować.
Wyniki są wymierne. Na modelu Qwen 3.8 o dwóch i czterech dziesiątych biliona parametrów framework wykonał czterdzieści osiem kroków treningowych w siedemdziesiąt pięć i cztery dziesiąte godziny, podczas gdy wariant asynchroniczny potrzebował stu trzydziestu czterech i sześciu dziesiątych godziny, a wariant współdzielony dziewięćdziesięciu jeden i pięciu dziesiątych; daje to współczynnik przyspieszenia równy jeden i siedemdziesiąt osiem setnych wobec wariantu asynchronicznego oraz jeden i dwadzieścia jeden setnych wobec współdzielonego. Skuteczność generowania repozytoriów z opisu w języku naturalnym wzrosła przy tym z pięćdziesięciu dwóch i pięciu dziesiątych do pięćdziesięciu ośmiu i pięciu dziesiątych procenta, a na reperowaniu istniejącego kodu i na zadaniach terminala przyspieszenie sięgnęło od półtora do blisko dwóch razy. Zmiany roli trwały średnio poniżej dziewięciu sekund, co przy zadaniach sięgających dwóch godzin jest kosztem pomijalnym.
Trzeba jednak dodać dwa zastrzeżenia. Zespół nie udostępnił kodu, więc każdy, kto chciałby wynik powtórzyć, musi samodzielnie zbudować cały stos, od planowania świadomego komórek po ocenę częściowego postępu. Poza tym zysk jest największy przy bardzo długich zadaniach o dużej zmienności; tam, gdzie jedno przejście trwa pół minuty, wolnej mocy jest zbyt mało, by było co odzyskiwać. Znaczenie tego wyniku nie polega więc na samym przyspieszeniu. Pokazuje, że chińskie laboratoria rywalizują już nie tylko wagami otwartych modeli, których przykładem jest opisany dziesiątego października Qwen 3.8-Max o dwóch i czterech dziesiątych biliona parametrów, lecz także warstwą treningową, która z tych wag czyni dobrych agentów długich zadań. To tam rozstrzyga się dziś jakość, której nie widać w jednym wyniku na benchmarku.