Cztery. Intel nazywa swoją kartę do wnioskowania: D270 i czterysta osiemdziesiąt gigabajtów pamięci
W łańcuchu sprzętowym uwagę zwraca premiera, która nie konkuruje z Nvidią w treningu, lecz w samym wnioskowaniu. Na szczycie Open Compute Project Intel pokazał kartę znaną od sierpnia pod nazwą roboczą Crescent Island, teraz oficjalnie nazwaną GPU D270. Układ należy do nowej serii D, opiera się na architekturze Xe3P i został pozbawiony sprzętu do grafiki trójwymiarowej oraz śledzenia promieni, a zwolnioną powierzchnię przeznaczono na obliczenia. Jak podał serwis VideoCardz, karta oferuje do czterystu osiemdziesięciu gigabajtów pamięci LPDDR5X, jeden i trzy dziesiąte petaflopsa wydajności w formacie FP8 i półtora terabajta na sekundę przepustowości pamięci, przy poborze mocy trzystu pięćdziesięciu watów i chłodzeniu pasywnym w standardowej infrastrukturze serwerowej. Własna karta Intela ma sto sześćdziesiąt gigabajtów, a konfiguracje do czterystu osiemdziesięciu przygotowują partnerzy produkcyjni. Producent twierdzi, że jeden akcelerator obsłuży modele do trzystu miliardów parametrów, a system ośmiu kart przekroczy bilion parametrów, ale nie przedstawił niezależnych pomiarów i nie ogłosił jeszcze ceny ani dostępności; trwa natomiast próbkowanie u klientów.
Znaczenie tego układu polega na kierunku, który wybiera, a nie na parametrach. Wnioskowanie o dużym kontekście ogranicza dziś pojemność pamięci, nie moc obliczeniowa, dlatego Intel stawia na tanią, gęstą pamięć LPDDR5X zamiast drogiej pamięci HBM, której podaż od miesięcy pozostaje wąskim gardłem branży. Jeśli taki układ da się kupić w rozsądnej cenie, presja przenosi się z ceny układu na cenę za token, a konkurencja w centrach danych przestaje dotyczyć wyłącznie najszybszej karty treningowej. To przedłużenie wątku, który opisaliśmy wczoraj przy warstwie sieciowej łączącej układy różnych producentów: o wyborze sprzętu coraz częściej decyduje koszt zadania, nie przywiązanie do jednej architektury. Po stronie oprogramowania ta sama presja trwa bez istotnych zmian wobec wczorajszej analizy: kolejne projekty, jak Janas czy Atomic Chat, uruchamiają modele o dziesiątkach, a nawet setkach miliardów parametrów na dyskach i komputerach osobistych, a kwantyzacje schodzą poniżej dziesięciu gigabajtów.