2024 年 10 月 30 日
使用 Gemini API 將 AI 代理程式導入正式環境
建構及部署 AI 服務專員是令人振奮的先進技術，但在正式環境中管理這些複雜的系統，需要強大的可觀察性。AgentOps 是用於監控介面代理程式、追蹤 LLM 成本、進行基準測試等的 Python SDK，可協助開發人員將介面代理程式從原型階段推進到實際工作環境，尤其是搭配 Gemini API 的強大功能和經濟效益時。
Gemini 的優勢
Agency AI 的 COO Adam Silverman 是 AgentOps 團隊成員，他表示，企業大規模部署 AI 代理人時，成本是關鍵因素。「我們發現企業每月花費 $80,000 美元用於 LLM 通話。同樣的輸出結果，如果使用 Gemini 1.5，成本可能要花費數千美元。」
這項服務的成本效益高，加上 Gemini 強大的語言理解和生成功能，是開發人員打造複雜 AI 代理程式的理想選擇。「Gemini 1.5 Flash 的品質與大型模型相當，但價格卻只要一小部分，而且速度極快。」Silverman 說。如此一來，開發人員就能專注於建構複雜的多步驟服務機器人工作流程，不必擔心成本超支。
「我們發現，透過其他 LLM 供應商執行個別代理人作業，每次執行的費用為 $500 美元以上。同樣在 Gemini (1.5 Flash-8B) 上執行的運算，費用不到 $50 美元。」
為 AI 虛擬服務專員提供動力
AgentOps 會擷取每個服務台人員互動資料 (而非僅限於大型語言模型呼叫)，提供多服務台系統運作方式的完整檢視畫面。工程和法規遵循團隊必須掌握這類細節，才能提供偵錯、最佳化和稽核記錄的重要洞察資料。
整合 Gemini 模型與 AgentOps 非常簡單，通常只要使用 LiteLLM 幾分鐘即可完成。開發人員可以快速掌握 Gemini API 呼叫的相關資訊、即時追蹤費用，並確保服務代理在實際環境中的可靠度。
展望未來
AgentOps 致力於協助 agent 開發人員擴大專案規模。Agency AI 可協助企業克服建構可負擔且可擴充的服務專員的複雜挑戰，進一步強化 AgentOps 與 Gemini API 的價值主張。正如 Silverman 所強調的，這項功能可讓更多重視價格的開發人員建立服務代理程式。
對於考慮使用 Gemini 的開發人員，Silverman 的建議很明確：「試試看，你會很驚豔。」
