Sześć. Agentowe inżynierstwo w praktyce: przepisany kod, kolejki GPU i finanse agentów
Trzy wdrożenia pokazują, że agenci przestają być ciekawostką, a stają się narzędziem produkcyjnym — z własną ekonomią i własną infrastrukturą. Pierwsze to Prime Intellect, które przy użyciu własnych agentów przepisało swój otwarty agent kodujący z TypeScriptu na Rust. Jak opisuje AlphaSignal, w dwa tygodnie ponad dwa tysiące agentów pracowało w dziesięciu tysiącach piaskownic, wymieniając szesnaście tysięcy komunikatów i zużywając ponad dwieście miliardów tokenów modelu GLM-5.3. Efekt to około trzynastokrotnie szybszy start i osiemdziesiąt trzy procent mniej pamięci na starcie, przy czym firma zastrzega, że liczby pochodzą z jej własnych testów, a część użytkowników zgłasza regresje w wygodzie interfejsu. Kluczowy jest nie wynik, lecz metoda: planista, wykonawca, recenzent i weryfikator jako cztery etapy, przez które musi przejść każda zmiana, zanim zostanie scalona. To wzorzec, który da się powtórzyć.
Źródło: alphasignal
Drugie wdrożenie dotyczy samego paliwa, czyli mocy obliczeniowej. Instytut Allen Institute for AI przebudował harmonogram kolejek na swoich klastrach kart graficznych. Wcześniej priorytety były darmowe, więc badacze „okupowali" wolne karty bezczynnymi zadaniami, każdy ustawiał najwyższy priorytet, a konserwacja sprzętu grzęzła w negocjacjach. Po zmianie na budżety rozliczane w godzinach GPU mediana oczekiwania na największym klastrze spadła z pięciu minut do dwudziestu czterech sekund, a liczba napraw wymagających ludzkiej koordynacji zmalała o siedemdziesiąt cztery procent, przy utrzymanym dziewięćdziesięcioośmioprocentowym obłożeniu. To nie jest rewolucja w układach, lecz zamiana darmowego priorytetu na mierzalny budżet — i pokazuje, że realne rezerwy w mocy obliczeniowej często leżą w organizacji, a nie w sprzęcie.
Trzecie to konsolidacja na poziomie finansów agentów. Firma Factory, rozwijająca agenta inżynierskiego Droid, przejęła dwuosobowy start-up Mentlio z akceleratora Y Combinator, który tworzył oprogramowanie do kompresji kontekstu, kierowania zapytań do tańszych modeli i mierzenia zwrotu z wydatków na agentów. Jak podaje AlphaSignal, Mentlio deklarowało około trzydziestu procent oszczędności przy zachowaniu niemal pełnej jakości, a transakcja następuje po rundzie Factory na dwieście milionów dolarów przy wycenie pięciu miliardów. Wniosek jest taki, że gdy modele upodabniają się do siebie na prostych zadaniach, przewaga przenosi się na to, kto lepiej zarządza kosztem i kontekstem, a warstwa obserwowalności i oszczędności bywa wchłaniana przez samych dostawców agentów.
Źródło: alphasignal