Harvey: Validating Gemini 2.5 Pro Preview’s Advanced Legal Reasoning with BigLaw Bench

कानूनी क्षेत्र में, एआई के ऐसे समाधानों की ज़रूरत होती है जो जटिल जानकारी को सटीक और बारीकी से समझ सकें. एआई के लिए तय किए गए पारंपरिक बेंचमार्क, अक्सर कानूनी काम से जुड़ी असल दुनिया की ज़रूरतों को पूरा नहीं कर पाते. इस वजह से, ऐसे मॉडल की पहचान करना मुश्किल हो जाता है जो कानूनी काम को बेहतर तरीके से कर सकते हैं. Harvey, एक डाइनैमिक स्टार्टअप है. यह एआई की मदद से, कानूनी वर्कफ़्लो को बेहतर बनाने के लिए काम करता है. इसने इस समस्या को हल करने के लिए, BigLaw Bench को डेवलप किया है. यह एक ऐसा फ़्रेमवर्क है जो कानूनी काम से मिलते-जुलते टास्क पर, लार्ज लैंग्वेज मॉडल (एलएलएम) की परफ़ॉर्मेंस का आकलन करता है. हाल ही में किए गए कड़े आकलन में, Gemini 2.5 Pro Preview ने बेहतरीन परफ़ॉर्मेंस दिखाई है. इससे पता चलता है कि यह कानूनी मामलों से जुड़े मुख्य विषयों में, काम को बेहतर तरीके से करने की क्षमता रखता है.

हाल ही में, BigLaw Bench फ़्रेमवर्क का इस्तेमाल करके किए गए Harvey के आकलन से पता चला है कि Gemini 2.5 Pro Preview, कानूनी तर्क से जुड़े मुख्य टास्क को पूरा करने में काफ़ी बेहतर है. खास तौर पर, ऐसे टास्क जिनमें लंबे फ़ॉर्म वाले कानूनी इनपुट या आउटपुट के आधार पर तर्क करने की ज़रूरत होती है. Harvey के सार्वजनिक तौर पर शेयर किए गए नतीजों में दिखाया गया है कि Gemini 2.5 Pro Preview ने BigLaw Bench पर 85.02% का सबसे ज़्यादा स्कोर हासिल किया है. ये नतीजे, Gemini 2.5 Pro Preview के साथ-साथ अन्य मॉडल की टेस्टिंग के बाद मिले हैं. टेस्टिंग के लिए, इन मॉडल के एपीआई का इस्तेमाल किया गया था. इस व्यापक आकलन में, Gemini 2.5 Pro Preview ने अन्य मॉडल से बेहतर परफ़ॉर्म किया है.

यह सुविधा, कानूनी मामलों से जुड़ी कई अहम गतिविधियों के लिए बहुत ज़रूरी है. BigLaw Bench में शामिल मुख्य टास्क के आकलन से, Gemini 2.5 Pro Preview की क्षमताओं का पता चला:

• लेन-देन से जुड़ी ज़रूरी जांच: Gemini 2.5 Pro Preview ने कई लंबे सेवा समझौतों से ज़रूरी प्रावधानों (जैसे, असाइनमेंट, क्षतिपूर्ति, समाप्ति की शर्तें) को निकालने और उनकी खास जानकारी देने की बेहतरीन क्षमता दिखाई. इससे पता चलता है कि मैन्युअल तरीके से दस्तावेज़ की समीक्षा करने में लगने वाले समय को कम किया जा सकता है.
• लेन-देन का स्ट्रक्चर तैयार करना: मॉडल ने जटिल फ़ाइनेंशियल विकल्पों (जैसे, PIPE, अंडरराइट की गई इक्विटी ऑफ़रिंग, बॉन्ड ऑफ़रिंग). मॉडल ने इस जानकारी को साफ़ तौर पर और आसानी से समझने वाले तरीके से पेश किया. यह जानकारी उन लोगों के लिए भी आसानी से उपलब्ध थी जिन्हें वित्तीय मामलों की ज़्यादा जानकारी नहीं है. साथ ही, मॉडल ने तुरंत कार्रवाई करने के लिए सुझाव भी दिए.
• मुकदमे से जुड़े दस्तावेज़ तैयार करना: मुकदमे से जुड़े टास्क के लिए Gemini 2.5 Pro Preview का आकलन करने पर, यह पाया गया कि यह मॉडल, ब्रीफ़िंग से जुड़े दस्तावेज़ों के आधार पर कानूनी ब्रीफ़ के लिए विस्तृत आउटलाइन जनरेट करने में काफ़ी हद तक सक्षम है. इससे पता चलता है कि आने वाले समय में, एआई कानूनी तर्क तैयार करने और उन्हें व्यवस्थित करने के शुरुआती चरणों में काफ़ी मदद कर सकता है.
• दस्तावेज़ की समीक्षा और विश्लेषण: अलग-अलग ट्रायल दस्तावेज़ों (कॉल लॉग, ईमेल, ज्ञापन) की समीक्षा से पता चला कि Gemini 2.5 Pro Preview, घटनाओं की क्रमवार खास जानकारी बनाने में बेहतर है. इसके अलावा, मॉडल ने रिकॉर्ड में मौजूद गंभीर विसंगतियों और अस्पष्टताओं की पहचान करने में भी मदद की. यह कानूनी विश्लेषण का एक अहम पहलू है.

इन सभी आकलन में, Gemini 2.5 Pro Preview ने तर्क करने की बेहतरीन क्षमता दिखाई. इसमें सैकड़ों पेजों के इनपुट शामिल थे. क़ानूनी काम में ऐसा अक्सर होता है. इसके अलावा, यह इन सामग्रियों का इस्तेमाल करके, ज़्यादा शब्दों में और पूरी जानकारी के साथ जवाब जनरेट कर सकता था. इससे ज़्यादा अहम जानकारी और विश्लेषण मिल पाते थे. इन मुख्य क्षमताओं से पता चलता है कि Gemini 2.5 Pro Preview का इस्तेमाल, कानूनी मामलों से जुड़े मुश्किल कामों के लिए किया जा सकता है. इसके लिए, बड़े दस्तावेज़ों के सेट पर तर्क करने की ज़रूरत होती है, ताकि जांच, समीक्षा, और ड्राफ़्टिंग के इस्तेमाल के मामलों में मदद मिल सके.

Harvey के हेड ऑफ़ अप्लाइड एआई, निको ग्रुपन कहते हैं,"Harvey में, हम कानूनी पेशेवरों को सबसे आधुनिक टूल उपलब्ध कराने के लिए प्रतिबद्ध हैं." "BigLaw Bench के ज़रिए Gemini 2.5 Pro Preview का आकलन करने पर, हमें पता चला है कि यह कानूनी जानकारी को आसानी से समझ सकता है. इस अहम जानकारी से, हमें आने वाले समय में प्रॉडक्ट को बेहतर बनाने में मदद मिलेगी. हमारा लक्ष्य है कि हम इन खूबियों का इस्तेमाल करके, प्रॉडक्ट को ज़्यादा से ज़्यादा असरदार बनाएं. साथ ही, वकीलों को इस तरह से सशक्त बनाएं कि वे ज़्यादा अहम रणनीतिक कामों पर ध्यान दे सकें."

Harvey, एआई मॉडल का बारीकी से आकलन करता है. साथ ही, Gemini 2.5 Pro Preview जैसे बेहतरीन एआई मॉडल का विश्लेषण करता है. इससे पता चलता है कि कानूनी क्षेत्र में एआई कितना मददगार हो सकता है. उनकी खोजों से, आने वाले समय में नई-नई तकनीकें विकसित होंगी. इनसे कानूनी पेशेवरों को अपने सबसे मुश्किल कामों को पूरा करने में मदद मिलेगी.

Gemini 2.5 Pro Preview की बेहतर रीज़निंग और सिंथेसिस की क्षमताओं के बारे में जानने के लिए, Gemini API का दस्तावेज़ पढ़ें या Google AI Studio में जाकर इसे आज़माएँ.

Harvey, Google के AI Futures Fund में शामिल है. यह फंड, एआई के क्षेत्र में नए-नए प्रयोग करने वाले स्टार्टअप में निवेश करता है और उनके साथ मिलकर काम करता है.