Harvey: Validating Gemini 2.5 Pro Preview’s Advanced Legal Reasoning with BigLaw Bench

Branża prawnicza wymaga rozwiązań AI, które potrafią precyzyjnie i z wyczuciem poruszać się po ogromnej ilości złożonych informacji. Tradycyjne testy porównawcze AI często nie odzwierciedlają rzeczywistych potrzeb w praktyce prawniczej, co utrudnia identyfikację modeli, które są naprawdę przydatne w pracy prawnika. Dynamiczny startup Harvey, który zajmuje się przekształcaniem procesów prawnych za pomocą AI, poradził sobie z tym problemem, opracowując BigLaw Bench, czyli kompleksową platformę do oceny wydajności dużych modeli językowych (LLM) w przypadku zadań odzwierciedlających rzeczywistą pracę prawników. W niedawnych rygorystycznych testach wersja testowa modelu Gemini 2.5 Pro wyróżniła się jako najlepsza, wykazując wyjątkowy potencjał w zakresie zwiększania wydajności w kluczowych obszarach prawa.

Ostatnie oceny przeprowadzone przez Harvey z wykorzystaniem struktury BigLaw Bench wyraźnie wykazały, że Gemini 2.5 Pro w wersji testowej wykazuje niezwykłą biegłość w zakresie podstawowych zadań związanych z wnioskowaniem prawnym, a w szczególności w przypadku zadań wymagających wnioskowania na podstawie długich danych wejściowych lub wyjściowych o charakterze prawnym. Jak pokazują publicznie udostępnione wyniki firmy Harvey, uzyskane w ramach testowania modeli, w tym Gemini 2.5 Pro Preview, za pomocą odpowiednich interfejsów API, model Gemini 2.5 Pro Preview osiągnął najwyższy wynik – 85,02% – w teście BigLaw Bench, wyprzedzając inne modele oceniane w ramach tego kompleksowego testu.

Ta wiodąca funkcja ma kluczowe znaczenie w przypadku wielu cennych działań prawnych. Kluczowe zadania oceny w ramach BigLaw Bench pokazały mocne strony wersji testowej Gemini 2.5 Pro:

• Transakcyjna należyta staranność: wersja podglądowa Gemini 2.5 Pro wykazała dużą zdolność do wyodrębniania i podsumowywania kluczowych postanowień (np. dotyczących przeniesienia praw, odszkodowania, klauzul wypowiedzenia) z wielu długich umów o świadczenie usług. Sugeruje to znaczny potencjał w zakresie usprawnienia czasochłonnego procesu ręcznego sprawdzania dokumentów.
• Strukturyzacja transakcji: model sprawnie generował kompleksowe, dobrze skonstruowane analizy porównawcze złożonych opcji finansowych (np. PIPE, gwarantowane oferty akcji, oferty obligacji). Model ten okazał się obiecujący w zakresie prezentowania tych informacji w jasny i przystępny sposób, nawet dla osób bez specjalistycznej wiedzy finansowej, oraz sugerowania potencjalnych działań do natychmiastowego podjęcia.
• Sporządzanie dokumentów procesowych: w przypadku zadań związanych z postępowaniem sądowym wersja podglądowa Gemini 2.5 Pro wykazała znaczną zdolność do generowania szczegółowych konspektów pism procesowych na podstawie dużych ilości dokumentów. Ta funkcja wskazuje na przyszłość, w której AI będzie mogła znacznie pomagać na początkowych etapach opracowywania i organizowania argumentów prawnych.
• Sprawdzanie i analiza dokumentów: oceny obejmujące sprawdzanie różnych dokumentów dotyczących procesu (dzienników połączeń, e-maili, notatek) wykazały, że Gemini 2.5 Pro w wersji podglądowej dobrze radzi sobie z tworzeniem spójnych podsumowań chronologicznych zdarzeń. Model wykazał też potencjał w zakresie identyfikowania w dokumentach krytycznych niespójności i niejasności, co jest kluczowym aspektem dokładnej analizy prawnej.

Podczas tych testów model Gemini 2.5 Pro Preview wykazał dużą zdolność rozumowania w przypadku danych wejściowych składających się z setek stron materiałów, co jest typowym scenariuszem w pracy prawniczej. Dodatkowo potrafił wykorzystywać te materiały do generowania dłuższych i bardziej wyczerpujących wyników, co pozwalało na uzyskanie bardziej szczegółowych informacji i analiz. Te podstawowe możliwości pokazują potencjał wykorzystania Gemini 2.5 Pro Preview w złożonych pracach prawnych wymagających wnioskowania na podstawie dużych zbiorów dokumentów, aby wspierać przypadki użycia związane z należytą starannością, przeglądaniem i przygotowywaniem dokumentów.

„W Harvey dokładamy wszelkich starań, aby zapewnić prawnikom najbardziej zaawansowane narzędzia” – mówi Niko Grupen, szef działu Applied AI w Harvey. „Nasza ocena wersji podglądowej Gemini 2.5 Pro w ramach BigLaw Bench wykazała niezwykłą zdolność tego modelu do syntezy złożonych informacji prawnych. Ta wiedza napędza naszą wizję przyszłego rozwoju produktu, w którym zamierzamy wykorzystać te mocne strony, aby osiągnąć niespotykaną dotąd wydajność i umożliwić prawnikom skupienie się na strategicznych zadaniach wyższego poziomu”.

Zaangażowanie firmy Harvey w przeprowadzanie rygorystycznych ocen i jej wnikliwe analizy najnowocześniejszych modeli AI, takich jak Gemini 2.5 Pro Preview, pokazują transformacyjny potencjał AI w dziedzinie prawa. Ich odkrycia otwierają drogę do przyszłych innowacji, które mogą zmienić sposób, w jaki prawnicy podchodzą do najbardziej wymagających zadań.

Aby dowiedzieć się, jak zaawansowane funkcje rozumowania i syntezy Gemini 2.5 Pro w wersji podglądowej mogą usprawnić Twoje aplikacje, zapoznaj się z dokumentacją Gemini API lub zacznij korzystać z Google AI Studio.

Harvey jest uczestnikiem programu Google AI Futures Fund, który inwestuje w ambitne startupy tworzące przyszłość AI i z nimi współpracuje.