Meta przepisuje rdzeń uwagi na Blackwell i to jest realny zysk wydajności
Trzecia sprawa jest inżynierska i dotyczy tego, co dzieje się na samym dnie stosu. Inżynierowie Meta i PyTorch przepisali jądro uwagi napędzające model reklamowy GEM na układ Blackwell B200, wykorzystując rozszerzenia TLX, i uzyskali w swoim raporcie średnio około trzynastu procent zysku w przejściu w przód oraz około pięćdziesięciu procent w przejściu wstecz wobec wersji FlashAttention-4 z maja 2026 roku, przy kodzie o objętości około trzech tysięcy dwustu linii zamiast dziesięciu tysięcy. Kluczowe okazały się trzy zabiegi: jawna kontrola nad pamięcią tensorową i specjalizacja warstw, czyli przypisanie osobnym warpom ładowania danych, mnożenia macierzy, softmaxu i redukcji gradientu, oraz lepsze szeregowanie nierównych zadań. Trzeba jednak zaznaczyć, że te wyniki mają wyraźnie ograniczony zakres. W przypadku gęstych kształtów, gdzie sekwencje mają stałą długość, wersja Meta wypadała w przejściu w przód na poziomie około osiemdziesięciu siedmiu procent wydajności FlashAttention-4, więc cały zysk koncentruje się na tak zwanych zadaniach postrzępionych, gdzie długości sekwencji bardzo się różnią, a właśnie takie przetwarza model reklamowy. To pomiar samego producenta na jednym układzie i jednej migawce konkurencyjnego rozwiązania, więc nie należy go rozciągać na inne zastosowania, ale sam mechanizm jest istotny: pokazuje, że na najnowszej generacji układów da się wycisnąć wydajność bez schodzenia do ręcznego CUDA, a kod jest krótszy i łatwiejszy do ponownego użycia.