直接答案:企业 AI 数据合规不是安装一个号称“拦截 98% 泄露”的工具,而是先画清数据从哪里进入模型、由谁处理、流向哪里、保存多久,再为每个环节配置合法性依据、最小权限、脱敏、供应商约束、输出校验、审计日志、人工审批与事件响应。任何准确率、漏报率和提效数字,都必须来自本企业的固定测试集与真实生产基线。

本文面向正在使用云端大模型、本地模型、RAG、代码助手或智能体的中国企业,提供工程与治理清单,不替代针对具体行业、地区和业务的法律意见。资料复核日期为 2026 年 7 月 16 日。旧稿中的“客户 A”、每天 50TB 数据、45% 漏报、98% 拦截、300% 提效和数百万元成本等数字均没有来源,本次重写已全部删除。
先判断:你面对的是哪一种 AI 合规问题?
“使用 AI”覆盖的范围很大。员工把会议纪要交给云端助手、企业用知识库回答内部问题、平台向公众提供生成服务、系统自动决定信贷或招聘结果,适用的责任和停止线并不相同。《生成式人工智能服务管理暂行办法》第二条明确,其重点适用于向中国境内公众提供生成内容的服务;企业内部研发或应用、未向境内公众提供服务,并不因此自动适用该办法,但仍需遵守个人信息、数据安全、商业秘密、行业监管和合同义务。
| 使用方式 | 首先确认 | 主要风险 | 第一责任动作 |
|---|---|---|---|
| 员工直接使用公共 AI 助手 | 账号版本、数据是否用于训练、保留与地域 | 个人信息、客户资料、代码和商业秘密外发 | 建立允许/禁止数据清单和企业账号入口 |
| 内部 RAG 或知识助手 | 文档权限能否传递到检索结果 | 低权限员工检索到高权限文件 | 检索前执行文档级 ACL,而非只靠提示词 |
| 微调或继续训练 | 数据来源、目的、权利、删除和版本 | 未经授权数据进入难以回滚的模型资产 | 建立数据集台账、来源证明和发布门禁 |
| 面向公众提供生成式服务 | 服务对象、备案/评估、内容与投诉机制 | 输入记录、违法内容、标识和用户权利 | 逐项核对现行服务规范和主管要求 |
| AI 自动执行付款、删除或权限变更 | 动作权限、审批、幂等、撤销和追踪 | 提示注入、越权和不可逆业务损失 | 模型只提出建议,高风险动作由确定性系统审批 |
| 招聘、信贷、医疗等高影响决定 | 行业规则、自动化决策、解释与人工救济 | 歧视、错误拒绝、健康和财产损害 | 暂停自动执行,交由法务、合规与专业人员评估 |
《中华人民共和国个人信息保护法》要求个人信息处理具有明确、合理的目的,并与处理目的直接相关;处理敏感个人信息、自动化决策、委托处理、向他人提供、公开或跨境提供时,还可能触发额外要求。不要把“数据已经脱敏”“供应商有合规认证”当成无需判断处理目的、必要性和权限的通行证。
第一步:画出五条真实数据路径
合规清单不能只写“模型名称”。应从数据对象出发,记录每次复制、检索、调用、缓存和导出。企业最常漏掉的是运行时数据:训练集可能经过审查,但用户提示、RAG 片段、工具返回值和调试日志仍包含完整敏感信息。
| 数据路径 | 典型内容 | 常见误区 | 需要保存的证据 |
|---|---|---|---|
| 用户/员工输入 | 问题、附件、截图、语音、代码 | 以为“只问一次”就不会被服务处理或保留 | 入口、账号类型、告知、过滤结果、请求 ID |
| RAG 与知识库 | 合同、工单、邮件、产品文档、向量与元数据 | 只控制原文件权限,不控制切片与向量检索 | 文件来源、ACL、索引版本、删除同步记录 |
| 训练与微调 | 预训练语料、SFT 样本、偏好数据、评测集 | 认为公开可访问等于可任意训练和再发布 | 来源、许可、同意/其他依据、去重、版本、删除 |
| 工具和外部系统 | 数据库查询、CRM、支付、搜索、邮件 | 模型能调用工具就默认拥有调用者全部权限 | 主体、授权范围、参数、审批、返回和副作用 |
| 输出与日志 | 回答、引用、缓存、追踪、反馈、监控告警 | 只过滤最终回答,忽略日志和观测平台中的原文 | 保留期限、访问人、脱敏规则、导出与销毁记录 |
《网络数据安全管理条例》要求网络数据处理者采取措施保障安全,并对生成式人工智能服务的训练数据和训练数据处理活动加强安全管理。对于企业内部项目,更实用的起点是把每个 AI 用例变成一张数据流卡片,而不是先购买“AI 合规平台”。
还要区分“模型可能记住训练样本”与“企业应用把运行时数据暴露给无权用户”。前者需要核对训练数据、去重和提取评测,后者更多由检索权限、日志、缓存、工具和账号隔离决定;两类问题的证据与修复不能混用。相关研究边界可参考大模型训练数据提取与隐私防护指南。
一张可验收的 AI 数据流卡片应有哪些字段?
| 字段 | 合格记录 | 不合格记录 | 为什么重要 |
|---|---|---|---|
| 业务目的 | “根据已授权知识库起草售后答复,由客服确认后发送” | “提升效率” | 决定哪些数据和动作确有必要 |
| 数据主体与类型 | 客户联系方式、订单、员工账号;标出敏感项 | “业务数据” | 便于判断权利、告知和风险 |
| 来源与去向 | CRM→脱敏网关→模型 API→工单系统 | “传给大模型” | 找出复制、跨域和子处理环节 |
| 访问与动作 | 客服仅查本人队列;退款必须主管批准 | “按角色授权” | 把权限落实到资源和操作 |
| 保留与删除 | 请求日志 30 天;知识库删除后 24 小时内重建索引 | “按需保留” | 验证数据是否真的退出全部副本 |
| 负责人和证据 | 业务、数据、安全、法务、供应商联系人与工单链接 | “项目组负责” | 事故时能够及时决策和复现 |
站内AI 知识和数据治理指南可用于建立知识来源、版本和责任人;如果正在选择本地模型或云端 API,可先阅读本地部署与云端大模型隐私决策指南,避免把部署位置当成唯一安全结论。
第二步:给数据分级,而不是只匹配身份证号
正则表达式适合发现格式稳定的号码,但无法单独判断“某段聊天是否包含商业秘密”“一组普通字段组合后是否能识别个人”“代码片段是否暴露生产凭据”。分类应同时考虑数据内容、上下文、主体、处理目的、访问者和可能影响。
| 建议内部等级 | 示例 | 默认 AI 处理策略 | 例外条件 |
|---|---|---|---|
| L0 公开 | 已公开且允许复用的产品文档 | 可进入批准工具 | 仍核对版权、版本与完整性 |
| L1 内部 | 一般流程、未公开会议纪要 | 仅企业账号和批准用途 | 禁止自动外发,设置保留期限 |
| L2 机密 | 源代码、定价、合同、客户清单 | 默认不进入公共助手 | 需隔离环境、最小片段和责任人批准 |
| L3 受限 | 敏感个人信息、密钥、医疗/金融记录、重要数据 | 默认阻断 | 必须完成专项法律、安全和业务评估 |
分类器只是一项控制。OWASP LLM02:2025将个人身份信息、财务和健康记录、商业机密、凭据与法律文件列为敏感信息示例,并明确提醒:仅在系统提示中要求模型不要返回敏感数据可能被绕过。正确做法是在模型之外执行输入清洗、资源权限、输出校验和动作授权。
第三步:把最小权限落实到 RAG 和智能体
RAG 最危险的误区是“员工能登录系统,所以可以检索整个向量库”。原始文件的访问控制必须在检索时继续生效;切片、向量、缓存和引用也要携带租户、部门、项目、密级和有效期。提示词里写“只返回用户有权查看的内容”不是权限系统。
| 控制位置 | 必须验证 | 失败样例 | 停止线 |
|---|---|---|---|
| 身份 | 用户、服务账号、代理身份可追踪且不可混用 | 所有请求共用一个管理员 API Key | 不能还原真实操作者就不上线 |
| 检索前 | ACL/ABAC 在查询过滤中生效 | 先召回全库,再让模型“忽略无权限内容” | 任一跨租户样本命中即阻断 |
| 工具调用 | 动作白名单、参数校验、费用和影响上限 | 搜索工具被替换成可写数据库工具 | 删除、付款、外发必须独立审批 |
| 输出 | 敏感字段、引用来源和授权范围再次校验 | 答案隐藏了字段,但引用链接暴露原文件 | 严重数据可见性错误不得降级放行 |
| 日志 | 原文、凭据、附件和工具结果按需脱敏 | 生产提示全文进入第三方观测平台 | 日志访问范围不清就关闭原文采集 |
对于能够执行动作的系统,还需核对AI 智能体与自动化治理指南中的只读、草拟、写入、审批和回滚分层。安全边界应由应用和工具实现,不能把模型拒答当作可靠的访问控制。
第四步:怎样评估供应商和部署方式?
供应商评估不能停留在“是否通过某项认证”。需要把官网说明、合同、管理后台配置和实际请求路径对齐。销售人员口头承诺、个人账号设置和企业/API 产品的数据条款可能不同;功能更新后,旧截图也可能失效。
| 核对项 | 要问的具体问题 | 应取得的证据 | 危险回答 |
|---|---|---|---|
| 训练与改进 | 哪些产品默认使用输入/输出改进模型?能否退出? | 对应产品和地区的官方说明、合同、后台截图 | “通常不会” |
| 保留 | 请求、文件、滥用监测和备份分别保留多久? | 数据保留表、删除流程和例外 | “随时可删”但无验证方法 |
| 地域与跨境 | 主处理、日志、支持和子处理者在哪里? | 数据地域、子处理者清单、变更通知 | 只说服务器地区,不说明支持访问 |
| 访问控制 | 是否支持 SSO、SCIM、RBAC、项目隔离和密钥轮换? | 管理后台与审计日志样例 | 所有团队共享个人账号 |
| 退出与迁移 | 如何导出、删除文件、向量、微调模型和日志? | 可执行的退出测试和删除回执 | 只允许停付费,不提供数据退出 |
| 事故协作 | 安全事件如何通知、提供哪些证据、谁负责联络? | 事件条款、状态页、工单和升级路径 | 只提供普通客服邮箱 |
如果供应商无法回答某项问题,不代表一定违法,但意味着企业无法证明自身控制是否有效。应缩小数据范围、改用隔离环境或暂停该用途,而不是用“行业都在用”代替风险接受记录。
第五步:不用虚构“准确率”,如何验收防泄露系统?
检测效果没有统一行业数字。手机号正则、中文姓名识别、商业秘密分类、RAG 越权和提示注入是不同任务,分母也不同。正确做法是建立覆盖真实数据形态和高影响失败的固定测试集,版本化保存输入、预期、实际结果和处置。
| 指标 | 计算或判断 | 不能单独说明什么 | 推荐用途 |
|---|---|---|---|
| 召回率 | 真实敏感样本中被识别的比例 | 误报是否让业务无法使用 | 检查漏报 |
| 精确率 | 被标记样本中确为敏感的比例 | 严重漏报是否存在 | 评估复核负担 |
| 严重漏报数 | 密钥、跨租户文件、敏感个人信息等未拦截数量 | 普通样本总体表现 | 设置不可妥协停止线 |
| 越权检索率 | 无权主体获得受限片段或引用的比例 | 答案事实是否正确 | 验证 RAG 权限 |
| 误报处理时间 | 人工确认、申诉和恢复平均耗时 | 检测本身是否准确 | 测量真实运营成本 |
| MTTD/恢复时间 | 从发生到发现、隔离和恢复的时间 | 事件影响范围 | 验收监控与响应 |
NIST AI RMF强调治理、映射、测量和管理贯穿生命周期;NIST AI 600-1 生成式 AI Profile进一步提供生成式 AI 风险与建议行动。它们不是认证清单,也不会替企业给出“合格准确率”,但可用于把责任、数据来源、测试、监测和事件披露变成持续流程。
一套最小可复现测试集
- 建立基线:从经授权的历史数据中抽取常见、边界和高影响样本;去除不必要的真实身份信息。
- 覆盖变形:加入 OCR 图片、空格和符号插入、同义表达、表格、代码、压缩包和多轮上下文。
- 测试权限:为不同租户、部门和角色建立同问不同答样本,检查片段与引用。
- 测试动作:验证提示注入不能扩大工具权限,重复请求不会重复付款或外发。
- 设置停止线:严重跨租户泄露、密钥输出或未经审批的不可逆动作一票否决。
- 版本化回归:模型、提示、索引、分类器或供应商更新后重新运行,不只测“最好的一次”。
如何区分供应商声明、页面观察和真实测试证据,可继续阅读AI 产品证据与风险评估方法;模型或过滤器修复后,应参考代码补丁与回归验证指南把失败样本纳入长期验收。
第六步:面向公众的 AI 内容什么时候要标识?
《人工智能生成合成内容标识办法》自 2025 年 9 月 1 日起施行,区分显式标识和文件元数据中的隐式标识,并覆盖文本、图片、音频、视频和虚拟场景。它主要针对符合相关规定情形的服务提供者和传播服务提供者,不应被简化成“企业内部所有 AI 草稿都必须加水印”。
| 场景 | 应先判断 | 实现证据 | 常见错误 |
|---|---|---|---|
| 提供生成合成服务 | 是否属于办法适用的服务提供者 | 界面标识、导出文件、元数据和用户协议 | 只在网页页脚写一句 AI 生成 |
| 平台传播用户内容 | 元数据、用户声明、显式标识和检测结果 | 发布入口、提示标识、元数据写入和日志 | 检测不到就默认真人创作 |
| 企业内部草拟 | 是否对外传播、行业和合同是否另有要求 | 内部流程标签、审批和版本记录 | 把内部辅助稿直接外发 |
| 去除显式标识的特殊请求 | 是否满足规则中的协议、责任与日志要求 | 用户协议、对象信息和不少于规定期限的日志 | 允许用户任意移除全部标识 |
标识解决“内容是否由 AI 生成或合成”的透明度问题,不能替代事实核验、著作权判断、个人信息保护和广告合规。文章、图片或视频带有 AI 标签,并不自动证明内容真实、获得授权或可以商用。
第七步:发生数据泄露后,按什么顺序处理?
个人信息保护法第五十七条要求发生或可能发生个人信息泄露、篡改、丢失时立即采取补救措施,并按法定条件通知履行个人信息保护职责的部门和个人。数据安全法第二十九条也要求加强风险监测,发现缺陷、漏洞或发生数据安全事件时采取补救和处置,并按规定告知与报告。
| 阶段 | 立即动作 | 必须保留 | 禁止动作 |
|---|---|---|---|
| 发现与分级 | 记录时间、入口、主体、数据和可能影响 | 请求 ID、模型/索引版本、工具调用和告警 | 只凭聊天截图判断全部范围 |
| 隔离 | 撤销密钥、暂停工具、收紧检索、阻断导出 | 变更人、时间、范围和回滚点 | 直接删除全部日志 |
| 取证与影响评估 | 确认访问者、数据主体、数量、地域和是否外传 | 原始日志哈希、权限快照、供应商回执 | 用模型总结代替原始证据 |
| 通知判断 | 由法务/数据保护责任人结合适用规则决定 | 判断依据、批准人和通知内容 | 让供应商或 AI 单方面决定“不严重” |
| 恢复 | 在停止线通过后逐步恢复,持续监控 | 修复、回归结果、例外和残余风险 | 只修提示词后一次性全量开放 |
| 复盘 | 更新数据卡片、权限、测试集和合同流程 | 根因、时间线、纠正/预防动作和负责人 | 把事件归因于“员工不小心”后结束 |
NIST SP 800-61 Rev.3已在 2025 年取代旧的 Rev.2,并把事件响应放入 CSF 2.0 的整体风险管理。站内ChatGPT 2023 数据泄露事件复盘展示了如何区分聊天标题暴露与支付信息影响范围;处理真实事故时也必须把不同数据集、时间窗口和受影响人群分开。
中国企业涉及欧盟业务,还要注意什么?
欧盟业务不能只写一句“符合 GDPR”。应先确认企业在具体处理活动中是控制者、处理者、AI 系统提供者、部署者还是通用 AI 模型提供者。欧盟《人工智能法》正式文本与欧盟委员会当前实施页面需要配合阅读。
截至复核日,欧盟委员会页面说明:法案已于 2024 年 8 月 1 日生效,禁止性实践和 AI 素养义务自 2025 年 2 月适用,通用 AI 模型义务自 2025 年 8 月适用;高风险系统时间线又受到后续简化提案与政治协议影响。时间线可能继续变化,因此本文不把所有高风险义务笼统写成“2026 年 8 月全部强制执行”。涉及欧盟市场时,应在项目里保存法规正式文本、委员会实施页面、适用角色判断和查询日期。
一份可执行的 30 天落地计划
| 阶段 | 交付物 | 验收标准 | 不要做 |
|---|---|---|---|
| 第 1–5 天:止损 | 批准工具清单、禁止数据清单、共享账号和密钥排查 | 高风险入口有负责人;公共助手不再接收受限数据 | 先采购平台再盘点数据 |
| 第 6–12 天:建图 | AI 用例和五条数据路径台账 | 每条路径有目的、来源、去向、权限、保留和责任人 | 只登记模型品牌 |
| 第 13–18 天:加控制 | 输入网关、RAG ACL、工具白名单、日志脱敏 | 严重越权样本全部阻断;失败可追踪 | 只修改系统提示 |
| 第 19–24 天:做评测 | 固定测试集、基线、停止线和回归脚本 | 报告分母、版本、召回/精确率和严重漏报 | 引用供应商“最高准确率” |
| 第 25–27 天:演练 | 数据事件桌面演练和供应商联络测试 | 能够隔离、保全证据、完成影响和通知判断 | 只写预案不演练 |
| 第 28–30 天:审批上线 | 风险接受、残余问题、上线范围和复审日期 | 小范围、可撤销、有监控;责任人签字 | 直接全员开放和全量数据接入 |
这 30 天的目标不是取得“零风险”证明,而是让每个 AI 用例拥有可回答的六个问题:为什么处理、处理什么、谁能访问、流向哪里、保存多久、出事怎么办。随后按模型、数据、供应商和法律变化持续复审。
常见问题
使用企业版大模型就一定合规吗?
不一定。企业版可能提供更清晰的数据控制、身份、审计和合同条款,但企业仍要判断使用目的、数据必要性、员工权限、供应商配置、跨境和行业要求。产品名称不能替代具体处理活动的证据。
把姓名和手机号替换掉就算匿名化吗?
不能直接这样判断。订单、位置、设备、职业、时间和自由文本组合后仍可能识别个人。应区分脱敏、去标识化与无法复原的匿名化,并测试重识别风险和映射表权限。
本地部署是否就没有数据泄露?
不是。本地部署减少某些外部传输,但密钥、服务器权限、日志、备份、RAG 越权、供应链、运维人员和工具调用仍会产生风险。部署选择应结合数据等级、团队能力和退出方案,而不是只比较“云”与“本地”。
AI DLP 能否完全替代传统规则?
不能。确定格式的号码、密钥和文件策略适合规则;语义分类器可补充上下文,但会产生漏报、误报和对抗风险。生产系统通常需要规则、分类器、权限、人工复核和事件响应共同工作。
内部员工同意后,所有数据都能交给模型吗?
不能由一份笼统同意覆盖所有处理。还要判断具体目的、必要性、敏感个人信息、客户或第三方权利、劳动关系中的有效性、合同和行业义务。发现范围扩大时应重新评估。
合规项目如何证明真正有效?
保存数据流卡片、配置、权限快照、测试集、版本、失败样本、审批、事件演练和删除验证。没有分母和复现条件的“准确率 98%”“效率提升 300%”不能作为效果证据。
编辑复核与纠错记录
编辑主体:兰塞 AI 编辑流程;事实复核:2026 年 7 月 16 日。旧稿把无来源的匿名客户、处理规模、漏报率、成本、罚款风险、拦截率和提效结果写成已发生的真实项目,并把 GDPR、个人信息保护法、DLP 和大模型能力混为统一结论。本次 A 级重写删除全部伪案例与营销数字,依据个人信息保护法、数据安全法、网络数据安全管理条例、生成式人工智能服务管理暂行办法、AI 生成合成内容标识办法、NIST、OWASP 和欧盟官方资料,建立“适用范围—数据流—权限—供应商—评测—标识—事件响应”的可执行框架。本站来源、更新与纠错原则见关于本站与编辑规范。
