AI智能体安全：权限、测试与成本

当助手能够修改记录、发送消息或在其他应用中触发工作时，AI智能体安全就成为一项业务决策。令人信服的演示能说明智能体是否有能力完成任务，却不能证明它可以访问谁的信息、执行哪些操作，以及出现问题后团队如何恢复工作。

保护AI智能体，需要限制数据访问与可用操作，在连接的应用中强制实施授权，并要求对影响较大的修改作出知情审批。在扩大访问之前，用真实可信的故障和恶意输入验证这些边界。仅仅改善提示词无法提供这样的保障。

对于委托开发集成的英国团队，有用的问题是：当智能体判断错误时，它仍被允许做什么？本文提出受控试点的实际范围、应向供应商索取的证据，以及商业论证必须考虑的成本。本文不承诺系统无法被攻击，也不描述任何具名客户的部署。

围绕业务任务定义AI智能体安全

从准备客服回复或提出CRM更新等狭窄流程开始。写明来源记录、预期用户和最终目标系统。把读取、起草与执行分开：能够访问客户记录，不必意味着有权导出；能够起草回复，也不必意味着有权发送。

约定哪些工作不属于试点。退款、账户权限修改和批量导出，都值得单独作出决定。供应商应当能够展示这些限制在哪里强制执行。系统提示词中的一句话是有用指导，却不是连接的API会拒绝未授权请求的证据。

为流程指定一位能够判断例外是否可接受的负责人。没有这位负责人，技术团队可能悄然承担客户沟通或记录修改方面的业务决策。一份有用的需求说明应描述获准结果及其边界，而不是要求智能体使用所有可用工具。

把输入内容视为待评估信息，而非指令

OWASP的提示词注入指南 区分了通过提示词直接操纵，以及通过文件、网站等外部材料间接操纵的情况。指南还提醒，检索和微调不能完全消除此类漏洞。因此，将智能体连接到公司文档，并不会让检索到的每句话都值得信任。

设想一封虚构的客服邮件，要求助手把无关客户的记录复制到回复中。这封邮件是需要评估的内容，不是扩大访问的许可。重要的测试在于：即使模型遵从了指令，周围的应用能否阻止这次信息泄露？附件、搜索结果和工具响应也应按同样方式处理。

标记外部内容并验证拟议输出，但不要把这些措施当作完整防御来推销。我们的建议是，让集成中的误导性回答只能获得有限权限。模型即使提出不恰当操作，也应先经过独立访问检查，之后才可能对业务系统产生影响。

让权限对应用户及记录

连接的应用应同时检查请求者是谁，以及请求涉及哪条记录。代表客服同事操作的智能体，不应自动继承管理员权限。明确是否需要服务身份、该身份可以读取或修改什么，以及集成如何保留发起用户的权限范围。

OWASP关于过度行动能力的指南 建议采用最少功能与权限、在用户上下文中执行，以及在下游实施授权。它将过多功能、过大权限和过高自主性，分别列为有害操作的原因。只读连接器和权限狭窄的账户，解决的是问题的不同部分。

使用职责不同的账户测试。尝试读取其他团队的材料、修改受保护字段，以及请求超出批准范围的导出。记录应用实际作出的拒绝。使用管理员账户成功演示正常流程，无法证明普通用户与不应查看的信息之间存在隔离。

在建议与执行之间设置操作网关

操作网关是应用代码，用来在调用目标系统之前检查拟执行操作。例如，CRM试点可以只接受已批准的记录标识符和允许字段。拒绝未知操作及不支持的值。将凭据保存在连接器受控环境中，不要把秘密写入模型可见的指令。

优先提供具体操作，例如提出备注，而不是允许执行任意命令或连接任意目标的通用工具。较小的接口更容易检查和测试，也能在扩大试点时，为业务方提供一份明确的能力批准清单。

此矩阵是建议的起点，而非通用政策。根据流程和出错后果调整边界。也要包含普通应用控制：智能体集成仍然需要可靠身份验证、输入校验，以及出现故障后可以恢复的目标系统连接。

沿着控制边界追踪建议

图示把模型建议与应用决定执行的过程分开。内容可以影响拟议操作，但网关独立检查身份、记录范围及允许修改。影响较大的操作还要等待对最终操作的审批。超出策略的请求走拒绝路径，不会悄悄获得额外权限。

让审批成为真正的决策

审批界面应显示待授权的操作、目标及实质修改。对于外发消息，要展示收件人和最终文本。对于记录更新，要展示现有值及拟替换值。让人批准没有解释的指令，等于转移责任，却没有提供履行责任所需的信息。

将审批绑定到实际执行的操作。如果目标、内容或相关记录状态发生变化，就应按约定策略重新决策。否则，人可能批准一个版本，软件却执行另一个版本。把到期和取消行为纳入验收测试，不要仅将它们视为界面细节。

不要要求每个微不足道的操作都走审批。那会制造一个人们逐渐习惯忽略的队列。约定哪些操作需要审核、哪些可以在既定策略内执行，以及哪些仍不可用。衡量审核者能否理解并完成工作，包括繁忙时期和常规审批人不在场的情况。

增加访问权限前测试故障路径

用有代表性的匿名化工作构建评估集。包含缺失字段、相互矛盾的记录、不支持的附件，以及试图改变任务方向的输入。将部分示例与调试系统时使用的材料分开保存。目的在于测试边界和可用结果，而不是奖励一个记住示例的演示。

测试整个工作流程。中断目标连接，在超时后重复请求，撤销用户访问，并在等待审批时修改记录。检查智能体是否如实报告状态，以及员工能否在没有重复更新的情况下继续工作。如果工具已经执行了禁止操作，礼貌的拒绝回答也不够。

要求证据将每项测试与预期结果、实际应用行为及修复负责人联系起来。清楚报告未解决的限制。在提示词、模型、工具或权限发生改变后，重复相关测试。试点应确立流程可以运行的条件，也要明确哪些条件要求停止。

索取可以独立检查的验收记录

有用的验收记录将尝试的操作与目标系统中可见的结果联系起来，不只依赖智能体的解释。例如，可以故意请求更新用户权限范围外的记录。预期结果是拒绝，且目标没有变化。保留相关标识符，让演示者以外的人也能检查结果。

试点开始前，约定团队如何验证这些结果。尽可能使用测试环境和非敏感示例。失败测试应带来有记录的限制或修复，随后重新检查受影响行为。不要把边界失效隐藏在总体成功率中。

保留有用审计记录及有效停止控制

记录发起身份、请求操作、授权结果、相关审批与目标确认。使用稳定标识符，让操作人员可以跨队列、跨连接器追踪同一任务。避免不加区分地把完整文档、凭据或私人对话复制进诊断日志。决定谁可以查看日志，以及需要保留多久。

提供停止新操作、同时保留等待工作的办法。明确暂停针对一个流程、一个连接器，还是所有智能体操作。测试停止控制确实能阻止执行，包括已经排队的请求。如果后台工作进程仍在修改记录，仅有令人安心的仪表盘指示并不足够。

编写恢复程序，说明由谁调查、如何查找受影响记录，以及哪些修改能够撤销。有些通信无法收回，因此预防与审核和回滚同样重要。与实际运营人员演练流程，不要把交接文档当作最后一项技术交付。

为控制、测试及持续运营编列预算

要求范围明确的GBP报价，将需求梳理、连接器开发、权限实施、审批界面、评估和交接分别列出。本文不提供统一价格区间：投入取决于应用、访问模型及错误后果。聊天演示的报价不能与有人监督的生产流程报价直接比较。

运营费用包括模型使用、托管、监控、人工审核，以及连接器和评估集的维护。询问访问变化或目标API行为改变时由谁响应。在估计使用费用前，按照实际计费单位核实供应商当前收费；安全设计的成本不能仅根据模型的词元单价计算。

按审核与返工后完成的工作比较价值，而非生成的回答。释放出的员工产能不会自动变成现金节省。计入处理例外的时间，以及保留备用流程的成本。如果写入权限带来的监督工作超出流程能证明的价值，规模更小的只读试点可能才是合理采购。

以观察到的工作建立商业论证

试点前后使用相同任务定义。如果基线衡量的是已完成咨询，而试点衡量的是生成备注，比较就会夸大收益。记录审核草稿、解决例外和纠正目标记录所需的时间，也包含原团队以外人员承担的工作。

试点可以释放有用产能，却不降低工资支出，也不立即节省现金。它也可能揭示，审核负担超过了准备阶段节省的时间。应让决策者同时看到这两种结果。这份表格旨在支持可辩护的选择，包括缩小范围或不推广。

先试点边界明确的流程，再决定是否扩大

设想一家虚构批发商，其助手根据收到的咨询提出CRM备注。从批准的示例记录和不会修改CRM的草稿开始。审核备注是否保留原意、避免无关客户信息，并为员工提供足够决策背景。这是范围示例，不是客户成功案例。

只有访问、审批和故障测试满足约定条件后，才启用受限制的更新。保留旧流程，并指定例外负责人。根据正确完成的更新、审核投入和恢复行为评价试点。如果简单规则就能妥善处理任务，保留规则也可以是成功的评估结论。

扩大范围需要另一次决策。新的数据源、用户组或工具会改变已测试的边界。不要从备注写作试点推导出自主退款或客户导出的合理性。保存早期范围的证据，明确新能力还需要哪些控制和测试。

委托开发能够提供可审查证据的集成

首次讨论时带上流程描述、匿名化示例、访问关系图及重要操作清单。请供应商解释哪些控制在模型外强制执行，并演示拒绝与成功。要求交付物写明剩余限制、职责归属和部署条件。

我们的AI集成服务 可以帮助界定受限制的智能体流程，以及它与现有应用的连接。为了获得有用评估，请说明涉及哪些系统、希望智能体读取或修改什么，以及哪些操作需要人来决策。可咨询覆盖试点、验收证据和运营责任的范围明确GBP方案。

采购应判断拟议流程是否值得授予相应访问。如果集成无法说明谁授权了修改，也不能演示如何停止，就应推迟扩大权限。有用的自动化不只是加快准备工作，还要给企业留下责任明确、可追溯的运营方式。

常见问题

更强的提示词能让AI智能体安全吗？ 更强的提示词可以引导行为，却不能建立访问控制。应在连接的应用中实施权限、验证拟执行操作，并用恶意输入测试边界。提示词改善只是一个防护层，不是保证。

每个智能体操作都需要人工审批吗？ 不需要。应按操作及其后果决定。低影响操作可以在批准的策略内运行，影响较大的修改需要知情审核，或保持不可用。测试审批是否适用于实际执行的确切操作。

AI智能体安全评估应包含什么？ 包含工作流程与访问关系图、工具权限、下游授权、审批行为、对抗测试、故障恢复与运营职责。要求实际应用证据，同时展示拒绝请求和成功任务，并记录未解决的限制。

保护AI智能体需要多少费用？ 要求范围明确的GBP报价，覆盖连接器、访问控制实施、审核界面、测试和交接。持续使用、监控、审核时间与维护同样重要。不存在能适应各种应用及后果的统一价格区间。

企业何时应扩大智能体试点？ 只有当前流程满足约定验收条件，且有运营负责人时才扩大。新的来源、工具或用户组需要重新决定范围并进行相关测试。成功的草稿试点不能证明无关高权限操作合理。