2024 年 10 月 30 日
運用 Gemini API 將 AI 代理程式導入正式環境
建構及部署 AI 虛擬服務專員是令人振奮的新興領域，但在正式環境中管理這些複雜的系統，需要強大的可觀察性。AgentOps 是用於監控代理程式、追蹤 LLM 成本、進行基準測試等的 Python SDK，可協助開發人員將代理程式從原型階段推進到實際工作環境，尤其是搭配 Gemini API 的強大功能和經濟效益時。
Gemini 的優勢
Agency AI (AgentOps 團隊) 的營運長 Adam Silverman 表示，企業大規模部署 AI 代理人時，成本是關鍵因素。「我們發現企業每月花費 $80,000 美元用於 LLM 通話。使用 Gemini 1.5 時，要產生相同的輸出內容，成本可能要花上數千美元。」
這項服務的成本效益高，加上 Gemini 強大的語言理解和產生能力，是開發人員建構複雜 AI 代理程式的理想選擇。「Gemini 1.5 Flash 的品質與大型模型相當，但價格卻只有一小部分，而且速度極快。」Silverman 說。如此一來，開發人員就能專注於建構複雜的多步驟服務機器人工作流程，不必擔心成本超支。
「我們發現，透過其他 LLM 供應商的個別代理程式執行作業，每次執行作業的費用為 $500 美元以上。同樣的運算作業在 Gemini (1.5 Flash-8B) 上執行時，費用不到 $50 美元。」
為 AI 代理提供動力
AgentOps 會擷取每個代理互動資料 (而非僅限於大型語言模型呼叫)，提供多代理系統運作方式的完整檢視畫面。工程和法規遵循團隊必須掌握這類細節，才能提供偵錯、最佳化和稽核記錄的重要洞察資料。
將 Gemini 模型與 AgentOps 整合非常簡單，通常只要使用 LiteLLM 幾分鐘即可完成。開發人員可以快速掌握 Gemini API 呼叫的相關資訊、即時追蹤費用，並確保服務代理在實際環境中的可靠性。
展望未來
AgentOps 致力於協助 agent 開發人員擴大專案規模。Agency AI 可協助企業克服建構價格實惠、可擴充的服務專員的複雜挑戰，進一步強化 AgentOps 與 Gemini API 的價值主張。正如 Silverman 所強調的，「這項功能將吸引更多重視價格的開發人員建構服務代理程式。」
對於考慮使用 Gemini 的開發人員，Silverman 的建議很明確：「試試看，你會很驚豔。」
