分享

2024 年 10 月 30 日

使用 Gemini API 将 AI 智能体投入生产

Vishal Dharmadhikari

产品解决方案工程师

Paige Bailey

AI 开发者体验工程师

Adam Silverman

Agency AI 首席运营官

AgentOps 展示主图

构建和部署 AI 代理是一项令人兴奋的创新,但在生产环境中管理这些复杂的系统需要强大的可观测性。AgentOps 是一款用于代理监控、LLM 成本跟踪、基准比较等的 Python SDK,可帮助开发者将代理从原型阶段推进到生产阶段,尤其是在与 Gemini API 的强大功能和成本效益相结合时。

AgentOps 平台界面,显示了 Gemini 的实际应用

Gemini 的优势

AgentOps 背后的团队 Agency AI 的首席运营官 Adam Silverman 解释说,对于大规模部署 AI 智能体的企业而言,成本是一个关键因素。“我们看到,有些企业每月在 LLM 调用方面的支出高达 8 万美元。如果使用 Gemini 1.5,同样的输出需要花费数千美元。”

这种成本效益与 Gemini 强大的语言理解和生成能力相结合,使其成为开发者构建复杂 AI 智能体的理想选择。Silverman 表示:“Gemini 1.5 Flash 能以更低的成本实现与更大的模型相媲美的质量,而且速度非常快。”这样,开发者就可以专注于构建复杂的多步骤代理工作流,而不必担心成本过高。

“我们看到,使用其他 LLM 提供商的单个代理运行成本超过每次 500 美元。如果使用 Gemini (1.5 Flash-8B),这些运行的费用不到 50 美元。”

- Adam Silverman,Agency AI 首席运营官

显示分析和统计信息的 AgentOps 信息中心模拟图

为 AI 智能体提供支持

AgentOps 会捕获每次代理互动(而不仅仅是 LLM 调用)的数据,从而全面了解多代理系统的运作方式。这种精细的细节对于工程团队和合规团队至关重要,可为调试、优化和审核轨迹提供关键的数据洞见。

将 Gemini 模型与 AgentOps 集成非常简单,通常只需几分钟即可完成(使用 LiteLLM)。开发者可以快速了解其 Gemini API 调用情况、实时跟踪费用,并确保其代理在生产环境中的可靠性。

展望未来

AgentOps 致力于在代理开发者扩展项目时为其提供支持。Agency AI 正在帮助企业应对构建经济实惠且可扩缩的代理的复杂性,进一步巩固将 AgentOps 与 Gemini API 相结合的价值主张。正如西尔弗曼所强调的那样,“这会吸引更多注重价格的开发者来构建智能体。”

对于考虑使用 Gemini 的开发者,Silverman 的建议很明确:“试一试,你会感到惊喜。”