Trzy. GLM-Legal: model pionowy dogania czołówkę, ale nie jest otwarty
Drugim wydarzeniem doby jest pierwszy poważny model wąskiej dziedziny od dużego chińskiego laboratorium. Z.ai, spółka stojąca za rodziną GLM, pokazała GLM-Legal, model agentowy zbudowany na taniej i szybkiej bazie GLM-5.3-Flash, a więc tej samej, którą opisywaliśmy wczoraj w kontekście uruchamiania na jednej stacji roboczej. Według komunikatu firmy model osiąga dziewiętnaście i dwie dziesiąte procenta pełnych zaliczeń na Harvey LAB, wymagającym benchmarku rzeczywistych zadań kancelarii w dwudziestu czterech obszarach praktyki, co daje wzrost o dwanaście i pięć dziesiątych punktu wobec modelu bazowego, a na LegalBench i chińskim PLawBench dorównuje czołowym modelom zamkniętym mimo znacznie mniejszej liczby parametrów. Trening prowadzono dwuetapowo: rozszerzona faza średnia zbudowała wiedzę dziedzinową, a uczenie ze wzmocnieniem w dziesiątkach tysięcy symulowanych środowisk prawnych nauczyło model prowadzenia analizy i dostarczania gotowego produktu. Dostęp jest jednak bramkowany i udzielany na wniosek, a wag nie opublikowano.
Ta ostatnia informacja jest ważniejsza, niż wygląda, bo część agregatorów ogłosiła GLM-Legal najlepszym modelem otwartym w prawie. Sprawdzenie u źródła temu przeczy: model działa w zamkniętej becie, a jedyną drogą jest formularz konsultacyjny Z.ai albo czekający dopiero na uruchomienie pulpit AutoClaw. To odwraca narrację ostatnich dni, w których chińskie laboratoria zdobywały pozycję właśnie otwartymi wagami. Zaczynają one stosować wzorzec laboratoriów amerykańskich: tania baza zostaje publiczna, a warstwa specjalistyczna, dająca przewagę w konkretnym zawodzie, jest sprzedawana jako usługa. Krytyka płynie z samego środowiska. Jak zauważono na Hacker News, gdzie wątek zebrał ponad czterysta punktów, model nie odpowiada na ryzyko zmyślonych orzeczeń i przepisów, a to właśnie ten błąd wielokrotnie kompromitował prawników w sądach; jeden z komentujących, sam będący adwokatem, stwierdził, że dwudziestoprocentowe zaliczenie nie robi wrażenia, bo praktyka polega na sprawach nowych, nie na powtarzaniu przeszłych. Podnoszono też, że przykłady osadzono w porządkach common law, więc nie wiadomo, jak model zachowa się w Polsce. Należy przy tym nie zestawiać wprost liczby Z.ai z liczbą z karty Meta: trzynaście i jedna dziesiąta przy Harvey LAB, którą podaje Meta dla Muse Wonder Full, pochodzi z innego trybu oceny i innej metodologii niż dziewiętnaście i dwie dziesiąte procenta pełnych zaliczeń u Z.ai. Obie liczby są prawdziwe, ale nieporównywalne.
Źródło: hacker-news