Więcej kodu, ale nie więcej oprogramowania: badanie na siedmiuset firmach
Ten sam problem, który Anthropic próbuje rozwiązać infrastrukturą, dwóch niezależnych badaczy zmierzyło ilościowo i wyszła z tego najbardziej trzeźwa liczba tej doby. Fiona Chen i James Stratton z Uniwersytetu Harvarda przeanalizowali zagregowane dane analityczne firmy Jellyfish, obejmujące trzysta milionów zdarzeń roboczych oraz dane z systemów zarządzania zadaniami z ponad siedmiuset firm, w okresie od dwa tysiące dwudziestego pierwszego roku do marca dwa tysiące dwudziestego szóstego roku. Wyniki, opisane przez Ars Technica, są jednoznaczne w jednym punkcie i zaskakujące w drugim: wprowadzenie agentów kodujących podnosi łączną liczbę generowanych linii kodu średnio o trzydzieści procent, liczbę commitów o dwadzieścia procent, a liczbę żądań scalenia o dwadzieścia trzy procent, ale ten przyrost nie przekłada się na więcej gotowego oprogramowania, bo odsetek rozwiązywanych zgłoszeń śledzonych chociażby w narzędziach takich jak Jira nie zmienił się w sposób istotny statystycznie.
Wyjaśnienie leży w przeglądzie kodu, który po wprowadzeniu agentów wyraźnie się wydłuża. Średni czas od złożenia żądania scalenia do scalenia rośnie o czterdzieści dziewięć procent, odsetek żądań scalenia, w których poproszono o poprawki, niemal się podwaja, a liczba komentarzy na żądanie rośnie o trzydzieści pięć procent, przy czym firmy zwiększają udział pracowników zajmujących się recenzowaniem kodu o czternaście procent. Autorzy piszą wprost, że nie mogą przypisać żadnych istotnych zmian w zatrudnieniu wprowadzeniu sztucznej inteligencji. Wniosek jest taki, że oszczędności czasu na etapie pisania kodu pochłania wąskie gardło weryfikacji, bo kod, który wygląda plausybilnie i przechodzi natychmiastowe testy, może wciąż wymagać dużo pracy, żeby ustalić, czy pasuje do dojrzałego systemu. Badanie ma charakter korelacyjny, więc nie dowodzi związku przyczynowego, ale jego zgodność z doświadczeniem Anthropic i projektu QGIS czyni ten wynik najważniejszym sygnałem dnia dla tych, którzy liczą zwrot z inwestycji w agentów kodujących.