Mercor: dziewięćdziesiąt procent godzin pracy w USA poza zasięgiem benchmarków
Firma badawcza Mercor opublikowała tak zwaną mapę benchmarków, w której zestawiła dwadzieścia dziewięć wybranych zestawów testowych z amerykańskim rynkiem pracy według taksonomii zawodów O-NET. Wynik jest jednoznaczny: tylko dwieście osiem z dziewięciuset dwudziestu trzech zawodów ma choć jedno zadanie pokryte co najmniej pięcioma promptami z tych zestawów, a według szacunku autorów dziewięćdziesiąt procent godzin pracy w Stanach Zjednoczonych przypada na zadania o małym lub żadnym pokryciu. Pokrycie nie jest przy tym przypadkowe: skupia się na zawodach silnie narażonych na automatyzację i o dużych sumach wynagrodzeń, więc dobrze wypadają zadania prawników, a niemal wcale zadania sekretarek prawnych czy urzędników sądowych.
Zastrzeżenia są poważne i sami autorzy je podnoszą. Lista dwudziestu dziewięciu zestawów jest niepełna, więc zaniża oszacowanie pokrycia, a stopnia tego zaniżenia nie da się ściśle ograniczyć; część kryteriów doboru, jak realizm ekonomiczny, jest uznaniowa. Autorzy wskazują też, że nie mają sposobu na ważenie zadań według jakości ani na mierzenie tego, jak model wspomaga człowieka, a nie tylko go zastępuje. Znaczenie tego materiału dla pytania o realny przyrost jest jednak duże i wpisuje się w stały wątek tego briefingu: jeśli zestawy testowe nie obejmują pracy, którą faktycznie wykonują ludzie, to wyniki w rankingach mówią niewiele o rzeczywistej produktywności, a decyzję o wdrożeniu lepiej opierać na własnych, wąskich pomiarach niż na pozycji w tabeli.