Sześć. OpenTPU: akcelerator zaprojektowany przez AI, na karcie FPGA
Szósty fakt dotyczy łańcucha sprzętowego i pokazuje, dokąd sięga automatyzacja projektowania. Na czele Hacker News znalazł się projekt OpenTPU, opisany jako otwarty akcelerator sztucznej inteligencji rozwijany przez AI, zawierający w jednym repozytorium cały stos: projekt sprzętowy w SystemVerilog, zestaw instrukcji, symulator zgodny co do bitu, język kerneli wraz z kompilatorem oraz profiler. Jak wynika z repozytorium na licencji Apache 2.0, projekt uruchamia dziesięć współczesnych modeli z prawdziwymi wagami na karcie Inspur YPCB-00338 z układem Xilinx Kintex-7 i dwoma kanałami DDR3, osiągając między innymi 85,8 tokena na sekundę przy dekodowaniu modelu LFM2.5-230M w wersji czterobitowej i 31,3 tokena na sekundę dla Qwen3-0.6B, przy wynikach zgodnych z symulatorem co do bitu. Sam projekt zadaje pytanie badawcze wprost: jak daleko agenci potrafią zajść w projektowaniu sprzętu i czy zbudują układ, na którym uruchomią własne wnioskowanie. To wciąż projekt edukacyjno-eksperymentalny, daleki od produkcyjnych akceleratorów, ale jego wartość jest sygnałowa: jeśli agenci zaczynają projektować wyspecjalizowany sprzęt dla własnej inferencji, kurczy się jedna z najdroższych i najbardziej zamkniętych barier w łańcuchu wartości.
Źródło: hacker-news