AI安全威胁有哪些？提示词注入、数据泄露与智能体权限防护

直接答案：AI 安全威胁不只是“模型会不会胡说”。生成式 AI 应用把不可信自然语言、网页、文件、图片和检索内容送进模型，再让模型接触知识库、身份凭据、代码、数据库或业务工具；攻击者可能通过提示词注入改变行为、诱导泄露敏感信息、污染检索与供应链、利用未经验证的输出，或借智能体过度权限执行真实动作。有效防线必须从资产、数据流和信任边界开始，把最小权限、输出验证、审批、日志、告警、暂停、凭据撤销和回滚做成可测试的系统控制。

AI 安全与传统应用安全是什么关系

AI 系统仍然是软件系统，身份验证、访问控制、密钥管理、依赖更新、网络隔离、日志与事件响应等基础控制没有失效。新增之处在于：自然语言同时承担数据和指令角色；模型输出具有概率性；RAG 和多模态会把外部内容带入上下文；智能体可能把模型建议转成代码、消息、转账或数据库修改。NCSC 安全 AI 系统开发指南按安全设计、开发、部署、运行维护覆盖完整生命周期，而不是把风险留给上线前一次“AI 审核”。

提示词注入：为什么“忽略恶意指令”不是防线

直接提示词注入来自用户输入；间接注入藏在模型读取的网页、邮件、文件、图片 OCR、代码注释或工具返回值中。模型的职责本来就是解释自然语言，因此很难把“数据中的句子”和“应执行的指令”做成传统解析器那样严格的边界。OWASP LLM01:2025明确把直接、间接和多模态注入都列为风险；影响大小取决于应用给模型的上下文、工具和权限。

工程目标不是证明模型“永不服从恶意文本”，而是即使模型被影响，也看不到不该看的数据、拿不到长期高权限凭据、不能绕过业务规则，且异常能被暂停和调查。提示词可以提高任务清晰度，却不应承担授权。提示结构与输出核验的内容质量方法见Few-shot 示例设计指南，但它不能替代安全边界。

敏感信息泄露：输入、上下文、输出和日志都要管

泄露不只发生在用户“把机密发给公共 AI”时。错误的文档权限、跨租户缓存、共享记忆、调试追踪、观测平台、错误消息、反馈数据和管理员导出都可能扩大暴露面。OWASP LLM02:2025指出，仅在系统提示中限制模型返回某类数据并不可靠，因为限制可能被注入绕过。

RAG 和外部内容：检索到不等于可以信任

RAG 可以让回答引用组织资料，却不会自动解决注入、权限或事实问题。文档可能过期、被篡改、含隐藏指令；向量相似度也不等于访问授权或证据充分。应用应先按身份和文档 ACL 筛选，再检索；把来源、版本、片段边界和可信级随上下文传递；对影响业务动作的主张回到原文复核。

对生成内容的“主张—来源—支持范围”核验应遵循本站的来源与引用规范。这里的重点不是让回答看起来更可信，而是防止未经授权或被污染的内容进入决策和工具链。

供应链与投毒：模型、数据、连接器和更新都要可追溯

AI 应用通常依赖模型 API、开源权重、推理镜像、Python/JavaScript 包、Embedding 模型、向量库、提示模板、MCP/插件、数据集和观测服务。任一组件更新都可能改变权限、输出或数据去向。CISA 与 NCSC 安全 AI 开发指南强调 secure-by-design、供应链安全、文档、资产管理、部署保护和运行维护。

新组件不应因为“官方市场上架”就自动可信；旧组件也不能因为稳定运行就无限期免检。Cloud Security Alliance AICM v1.1在 2026 年更新了模型安全和 AI 专项控制，可用于把采购、云平台、模型与应用责任映射到控制所有者，但组织仍要保存自己采用的版本和差异。

不安全输出处理：模型文本必须仍按不可信输入处理

把模型生成的 SQL、Shell、HTML、Markdown、URL、文件名或 API 参数直接执行，会把概率性文本变成传统注入漏洞。解决方法不是让模型承诺“只输出安全代码”，而是使用严格 schema、枚举允许动作、参数化接口、路径和域名白名单、沙箱、资源限制与人工审批。代码、终端和生产数据属于不同风险级，不能共用同一放行策略。

NIST AI 600-1 生成式 AI 风险管理配置文件把治理、映射、测量和管理贯穿生命周期。它适合确定责任与风险优先级；OWASP 2025 生成式 AI/LLM Top 10更适合检查应用层常见攻击面；MITRE ATLAS则提供攻击战术、技术、缓解和案例知识库。三者用途不同，不应拿一张 Top 10 清单替代本系统的威胁建模。

第一步：盘点资产，而不是先列攻击名词

威胁模型首先回答“我们怕失去什么”。资产不仅是模型权重，还包括个人信息、商业文件、系统提示、知识库、向量索引、API 密钥、模型额度、工具权限、业务动作、审批记录和品牌声誉。每项资产要有所有者、敏感级、允许用途、访问者、保留期限和恢复方式。没有所有者的资产，在事故中通常也没人有权暂停或决定恢复。

处理个人信息时要回到具体目的和必要范围。《个人信息保护法》并不会因为系统使用 AI 而降低要求；数据分类分级、风险监测和事件处置还要结合《数据安全法》、网络安全、行业规则、合同和部署地区判断。教育场景的学生数据最小化、权限和保留设计见AI 学生数据分析与教学干预指南。

第二步：画数据流和信任边界

把一次请求从入口画到最终动作：用户输入经过哪个网关，是否带文件或网页；检索了哪些库；调用哪个模型和区域；上下文是否写入记忆；输出是否进入工具；工具使用哪个身份；结果写到哪里；哪些日志能还原过程。任何跨租户、跨权限、跨网络、跨供应商或从“文本建议”变成“真实动作”的地方，都是信任边界。

“部署在本地”只改变部分数据路径，不自动解决越权、恶意文档、脆弱依赖、错误输出或内部人员风险；“使用大厂模型”也不代表应用层权限正确。系统架构和模型基础可结合大语言模型（LLM）从 Token 到 RAG 的指南理解，但安全决策必须落到当前数据流、身份和工具上。

第三步：按攻击路径建立风险登记册

NIST AI 100-2e2025把对抗机器学习攻击按生命周期、攻击者目标、能力和知识组织，并覆盖生成式 AI 的可用性、完整性、隐私与滥用等问题。对应用团队，最实用的转译是：谁能控制输入或供应链，能接触哪一组件，希望破坏机密性、完整性、可用性或业务规则，成功后怎样被发现。

智能体安全：自主程度越高，控制点越要显式

智能体不是“更会聊天的模型”，而是能规划步骤、读取上下文、调用工具、检查结果并继续行动的软件系统。它的风险取决于能访问什么、能代表谁、可连续行动多久、动作是否可逆，以及谁能暂停。可靠的架构应把只读、草拟、写入、外发、付款和生产变更分成权限阶梯，默认从最低级开始。

模型不能自己提高权限，也不能把一个用户的批准泛化为后续所有步骤。审批界面应显示动作、对象、关键参数、预计影响和回滚方式，不能只问“是否允许继续”。智能体治理的系统结构可与AI 智能体与自动化指南配合阅读。

身份、凭据和权限：不要给模型一个万能服务账户

凭据应由应用在工具调用时按当前用户、当前任务和当前动作颁发，而不是写进系统提示、长期记忆、代码示例或模型上下文。高风险工具使用短期、可撤销、范围受限的令牌；工具端仍执行对象级访问控制，不能相信模型声称“用户已授权”。

上线前怎么测：从功能样例升级为安全滥用样例

只用“正常问题能否答对”无法证明安全。测试集要包含直接和间接注入、跨角色访问、恶意文件、长上下文、错误工具参数、重复动作、供应商超时、模型拒答、日志缺失与凭据失效。每个样例要写预期阻断点、允许的最大影响、告警和恢复结果，并在模型、提示、检索、连接器或权限变更后回归。

高质量测试不是一次红队表演，而是可重复的发布门禁。评测、失败恢复和回滚记录方法可参考AI 项目从需求到上线的评测指南；安全样例还必须由安全与业务风险负责人共同定义，避免只测“模型是否拒绝某句话”。

运行中监控什么：记录决策链而不是只记最终答案

为了发现越权、漂移和资源滥用，至少需要关联请求身份、会话、模型/提示版本、检索文档 ID、工具名称和参数、审批、真实执行结果、Token/费用、阻断与告警。日志本身可能包含敏感数据，应做分权、脱敏、完整性保护和保留控制；不能为了“可观测”把所有提示永久复制到第三方平台。

CISA AI 网络安全协作手册强调把 AI 事件与漏洞纳入信息共享和响应流程。对普通组织，更直接的行动是先明确内部报告渠道、供应商升级路径、法务/数据联系人和证据保全规则，事件发生后再找联系人会浪费关键时间。

AI 安全事件响应：暂停、隔离、保全、调查、恢复

发现异常时，不要第一时间删除日志、重跑模型或继续让代理“自行修复”。先停止高风险动作和队列，隔离相关会话、知识库或连接器，撤销可能暴露的令牌；保全模型、提示、检索、工具、审批和真实执行版本；再判断哪些租户、数据、费用和业务动作受影响。修复后用原攻击和同类变体回归，最小范围恢复并持续观察。

小团队的最小可行防线

资源有限时，优先控制“高权限 + 不可信内容 + 不可逆动作”的组合，不要先购买一堆无法接入流程的检测产品。选择 AI 工具可沿用AI 工具小样验证方法，但安全采购还要核对数据处理、管理员能力、日志、身份集成、模型版本、退出和事件通知。

常见问题

系统提示词写得足够严密，能阻止提示词注入吗？

不能据此保证。系统提示可以约束正常行为，但仍是模型处理的自然语言。真正的安全结果来自数据不越权、工具最小权限、确定性业务规则、审批、监控和可撤销性。

本地部署模型是不是一定更安全？

不是。本地部署可能减少向外部 API 发送数据，但会把补丁、模型来源、依赖、访问控制、日志、备份和运维责任转给自己。是否更安全取决于完整架构和团队能力。

做了脱敏，就可以把数据交给任何 AI 吗？

不能默认。替换姓名不一定达到不可识别，文本组合、上下文和外部数据可能重新识别对象。还要判断处理目的、必要性、供应商条款、地区、保留和访问权限。

人工审核能解决智能体风险吗？

只有审核界面展示真实动作、对象、参数和影响，且批准与执行严格绑定时才有意义。笼统点击“继续”、审批疲劳或事后抽查不能替代权限与限额。

多久做一次安全复核？

不应机械规定“每三个月”。模型、提示、数据、检索库、连接器、权限、供应商条款或业务影响发生变化时立即触发；此外按组织风险和行业要求安排周期性复核与演练。

来源与复核记录

本文依据 NIST AI 600-1、NIST AI 100-2e2025、OWASP GenAI Security Top 10 2025、MITRE ATLAS、NCSC/CISA 安全 AI 系统开发指南、CISA AI 网络安全协作手册、CSA AICM v1.1 与中国个人信息保护法整理，资料复核日期为 2026 年 7 月 18 日。框架版本会更新，实施时应保存实际采用版本、适用范围和差异。本站编辑、来源与纠错原则见兰塞 AI 关于与编辑规范。