DigitalOcean 赋能 Autonoma 快速打造物联网 AI Agent
Autonoma 是一家领先的物联网（IoT）平台，专注于工业机械制造商，帮助他们的客户全面数字化其系统，从而 […]
Autonoma 是一家领先的物联网（IoT）平台，专注于工业机械制造商，帮助他们的客户全面数字化其系统，从而实现数据驱动的服务和销售。为了高效地服务客户，Autonoma 为现场技术人员提供了用于排查设备问题的内容。任何停机时间都非常昂贵。为了更准确、快速地诊断和解决问题，Autonoma 决定构建一个 AI 代理，为技术人员提供指导以解决复杂的技术问题。Autonoma 的全栈工程师 Benedikt Klinglmayr 表示，他们研究了其他 AI 解决方案，但“很快回到了 DigitalOcean 的 GenAI 平台，因为它看起来非常简单，并且可以轻松集成到我们现有的基础设施中。”
通过与 Vijil 合作——Vijil 是 DigitalOcean GenAI 平台上的 AI 代理构建专家，他们仅用一周时间就部署了一个安全可靠的 AI 代理，为精简的 Autonoma 团队节省了数月的开发时间和成本。借助这个 AI 代理，Autonoma 已经减少了客户排查每个问题所需的时间，并且能够更快地扩展业务，服务更多客户。
初期的代理学习与快速修正
Autonoma 在 GenAI 平台上开始开发一个基于检索增强生成（RAG）系统的原型，使用 Mistral Nemo Instruct 作为生成模型，并将在线帮助中心的内容作为知识库。然而，在最初的创建过程中，由于一些干扰因素，他们很快发现代理生成了大量幻觉（hallucinations）。此外，尽管文档同时提供德语和英语版本，代理却无法根据用户的查询语言（德语或英语）正确响应。这时，DigitalOcean 的合作伙伴 Vijil 加入，帮助扩大代理的测试规模。
Vijil 与 Autonoma 合作，从多个维度测试了代理的性能和可信度——包括可靠性、安全性和安全性。性能测试表明，生成的答案不够准确，无法从上下文中以足够的精确度和召回率检索信息。安全性和安全性测试发现，代理容易受到简单误用（执行超出其范围的任务）和恶意越狱攻击的影响，这些攻击试图迫使代理忽略操作员的指令，转而执行攻击者的指令。
为了将代理投入生产（并且要快），Vijil 和 DigitalOcean 联手解决了这些问题。
解决信任问题
Vijil 针对以下四个领域进行了改进：
- 模型：虽然 Mistral Nemo Instruct 在直接将图像插入内容方面表现更好，但它存在显著的安全漏洞，容易受到提示注入攻击。将模型切换为 Llama 3.1 8B 降低了这种漏洞。
- 知识库：为了确保知识库结构良好且有条理，Vijil 从 Autonoma 的在线帮助中心抓取了英语和德语内容，并提取了纯文本内容以及内容中链接的图像和元数据。此外，他们将英语和德语内容分别存储在不同的知识库中，以提高代理引用用户语言内容的能力。
- 系统提示：改进和扩展系统提示，确保其提供足够详细的指令。在系统提示中添加策略可以防止代理被滥用。最后，明确指示代理用正确的语言响应用户，使其能够在英语和德语之间适当切换。这项工作还帮助 DigitalOcean 优化了其关于知识库的文档，以便未来用户使用。
- 防护措施：通过在提示中加入安全策略、滥用预防指令，并更改基础 LLM，代理变得更加安全，Vijil 的可信度评估中得分更高。Vijil 和 Autonoma 在 DigitalOcean 发布防护措施功能之前就在平台上合作，因此他们找到了一个变通方法。现在，用户可以使用 GenAI 平台中的 DO 防护措施来实现相同的结果。
一周内完成上线
在 Vijil 的帮助下，Autonoma 仅用一周时间就在 DigitalOcean 的 GenAI 平台上构建并部署了一个可靠、安全且安全的 AI 代理，从开发到生产一气呵成。“对于我们这个小团队来说，这真的改变了游戏规则。它让我们可以直接开始构建，而不需要大量资源，”Benedikt 表示。
现在，该代理能够生成准确的内容，并提供足够的引用和原始文档的依据，能够根据需要用英语和德语响应用户，并且能够抵御常见的提示注入攻击。通过与 Vijil 和 DigitalOcean 合作构建和部署这个关键任务的 AI 代理，Autonoma 能够迅速为客户创造真正的价值。
Autonoma 和 Vijil 的反馈对 DigitalOcean 的 GenAI 平台开发产生了重大影响，促使 DigitalOcean 提供了更好的文档，并优先考虑对像 Autonoma 这样的团队至关重要的功能，使他们能够自信地构建和部署 AI 代理。
如果你需要进一步了解 DigitalOean 的 GenAI 平台，以及H200、H100、MI300X、L40s等 GPU 云服务器，欢迎直接联系 DigitalOcean 中国区独家战略合作伙伴卓普云。