शेयर करें

30 अक्टूबर, 2024

Gemini API की मदद से, एआई एजेंट को प्रोडक्शन में शामिल करना

विशाल धर्माधिकारी

प्रॉडक्ट सलूशन इंजीनियर

पेज बेली

एआई डेवलपर एक्सपीरियंस इंजीनियर

ऐडम सिल्वरमैन

सीओओ, Agency AI

AgentOps की हीरो इमेज

एआई एजेंट बनाना और उन्हें डिप्लॉय करना एक दिलचस्प काम है. हालांकि, प्रोडक्शन एनवायरमेंट में इन जटिल सिस्टम को मैनेज करने के लिए, मज़बूत निगरानी की ज़रूरत होती है. AgentOps, एजेंट मॉनिटरिंग, एलएलएम की लागत ट्रैकिंग, बेंचमार्किंग वगैरह के लिए Python SDK टूल है. इसकी मदद से, डेवलपर अपने एजेंट को प्रोटोटाइप से प्रोडक्शन में ले जा सकते हैं. खास तौर पर, जब इसे Gemini API की बेहतर सुविधाओं और कम लागत के साथ जोड़ा जाता है.

AgentOps प्लैटफ़ॉर्म का यूज़र इंटरफ़ेस (यूआई), जिसमें Gemini को इस्तेमाल करते हुए दिखाया गया है

Gemini के फ़ायदे

AgentOps की टीम, Agency AI की सीओओ, एडम सिल्वरमैन बताते हैं कि बड़े पैमाने पर एआई एजेंट डिप्लॉय करने वाले एंटरप्राइज़ के लिए, लागत एक अहम फ़ैक्टर है. "हमने देखा है कि एंटरप्राइज़, एलएलएम कॉल पर हर महीने 80,000 डॉलर खर्च करते हैं. Gemini 1.5 के साथ, यही आउटपुट पाने के लिए कुछ हज़ार डॉलर खर्च करने पड़ते."

Gemini की भाषा समझने और जनरेट करने की बेहतर सुविधाओं के साथ-साथ, कम लागत की वजह से, यह एआई एजेंट बनाने वाले डेवलपर के लिए एक बेहतरीन विकल्प है. सिल्वरमैन कहते हैं, "Gemini 1.5 Flash, हमें बड़े मॉडल के बराबर क्वालिटी दे रहा है. साथ ही, यह काफ़ी तेज़ है और कम लागत में काम करता है." इससे डेवलपर, ज़्यादा खर्च किए बिना, एजेंट के लिए कई चरणों वाले जटिल वर्कफ़्लो बनाने पर फ़ोकस कर सकते हैं.

“हमने देखा है कि अन्य एलएलएम प्रोवाइडर के साथ, हर एजेंट के लिए 500 डॉलर से ज़्यादा खर्च होते हैं. वहीं, Gemini (1.5 Flash-8B) के साथ इनका इस्तेमाल करने पर, 50 डॉलर से कम का शुल्क देना पड़ता है.”

— एडम सिल्वरमैन, सीओओ, Agency AI

Analytics और आंकड़े दिखाने वाला AgentOps डैशबोर्ड का मॉक अप

एआई एजेंट को बेहतर बनाना

AgentOps, एलएलएम कॉल के साथ-साथ एजेंट के हर इंटरैक्शन का डेटा कैप्चर करता है. इससे यह जानकारी मिलती है कि मल्टी-एजेंट सिस्टम कैसे काम करते हैं. इंजीनियरिंग और नियमों का पालन करने वाली टीमों के लिए, ज़्यादा जानकारी देना ज़रूरी है. इससे डीबग करने, ऑप्टिमाइज़ करने, और ऑडिट ट्रेल के लिए अहम जानकारी मिलती है.

Gemini मॉडल को AgentOps के साथ इंटिग्रेट करना बेहद आसान है. LiteLLM का इस्तेमाल करके, ऐसा करने में अक्सर कुछ ही मिनट लगते हैं. डेवलपर, Gemini API कॉल की जानकारी तुरंत देख सकते हैं. साथ ही, रीयल-टाइम में लागत को ट्रैक कर सकते हैं और प्रोडक्शन में अपने एजेंट की भरोसेमंदता को पक्का कर सकते हैं.

आगे की योजनाएं

AgentOps, एजेंट डेवलपर को उनके प्रोजेक्ट को बड़े पैमाने पर इस्तेमाल करने में मदद करने के लिए प्रतिबद्ध है. Agency AI की मदद से, एंटरप्राइज़ कम कीमत वाले और बड़े पैमाने पर काम करने वाले एजेंट बनाने की मुश्किलों को हल कर रहे हैं. साथ ही, AgentOps को Gemini API के साथ जोड़ने की सुविधा को और बेहतर बना रहे हैं. सिल्वरमैन के मुताबिक, "इससे, कीमत को ध्यान में रखकर एजेंट बनाने वाले डेवलपर की संख्या बढ़ रही है."

डेवलपर के तौर पर, अगर आपको Gemini का इस्तेमाल करना है, तो सिल्वरमैन का सुझाव है कि "इसे आज़माएं और आपको यह पसंद आएगा."