Dziewięć. Małe modele na urządzeniu i próba rzeczywistości agentów prawnych
Na koniec dwa fakty, które pokazują, jak szeroko rozchodzi się efektywność i jak twarda jest granica między demem a prawdziwą pracą. Pierwszy to Whistle, otwarty model rozpoznawania mowy o rozmiarze zaledwie szesnastu i dziewięciu dziesiątych megabajta, działający na procesorze bez zależności i obsługujący siedem języków, w tym polski, z pierwszym tokenem już po jedenastu milisekundach. Co istotniejsze, model ładuje się do tego samego silnika C++, co model tekstowy Needle, dzięki czemu jeden plik potrafi zamienić nagranie od razu w wywołania narzędzi, a więc lokalne, prywatne przetwarzanie głosu na urządzeniu zbliża się do poziomu, na którym przestaje być kompromisem wobec chmury. Wpis z tym modelem był przez większość dnia najwyżej ocenianym materiałem na Hacker News, z ponad sześciuset punktami. Drugi fakt jest zimnym prysznicem: niezależny test Harvey LAB-AA wykazał, że agenci prawni oparci na sztucznej inteligencji zaliczają mniej niż dziesięć procent rzeczywistych zadań prawniczych. To ważne zestawienie: na jednym końcu spektrum maleńki model działa doskonale lokalnie, na drugim duże systemy agentowe wciąż zawodzą tam, gdzie stawka i wymagania precyzji są wysokie. Postęp jest realny, ale nierówny, i to rozróżnienie warto zachować w każdej ocenie.
Źródło: hacker-news