直接答案:AI 项目保护隐私,不是从“差分隐私还是联邦学习”开始,而是先写清四件事:要保护谁的数据、向谁隐藏、哪个处理阶段可能泄露、业务必须得到什么结果。随后建立数据最小化、合法来源、权限、加密、日志、删除和事件响应等共同底座,再按保护目标组合匿名化或假名化、差分隐私、联邦学习与安全聚合、多方安全计算(MPC/PSI)、全同态加密(FHE)或可信执行环境(TEE)。任何一种技术都不能单独证明“数据绝对安全”,也不能自动替代个人信息保护影响评估、供应商审查和上线后的持续审计。
快速判断可以先用一句话:需要发布统计结果并限制单个人贡献时看差分隐私;不希望集中原始训练数据时看联邦学习,但通常还要安全聚合与差分隐私;多家机构要联合计算而不互换原始输入时看 MPC 或 PSI;希望不可信计算方在看不到明文时完成计算,可评估 FHE;希望在受硬件隔离和远程证明约束的环境中处理明文,可评估 TEE。若只是把姓名替换成编号,那是假名化,不是匿名化。

第一步不是买技术,而是列出数据处理和威胁模型
先画出数据从采集、清洗、标注、训练、评测、部署、推理、日志到删除的路径。每个节点至少记录数据字段、个人信息类别、来源、处理目的、接收者、保存位置、保留期、跨境或委托关系,以及谁能读取明文。只有知道“数据在哪里以什么形态出现”,才能判断 PET 放在哪一层。只给数据库加密,却把完整提示词写入调试日志;只做联邦训练,却允许工程师下载单个客户端更新;只发布合成数据,却让模型逐字复现训练样本,都不算完成隐私工程。
中国《个人信息保护法》第五十五条要求,在处理敏感个人信息、利用个人信息进行自动化决策、委托处理或向其他处理者提供、公开、向境外提供,以及其他对个人权益有重大影响的处理活动前进行个人信息保护影响评估。第五十六条要求评估处理目的与方式的合法、正当、必要性,对个人权益的影响及风险,以及保护措施是否合法、有效并与风险相适应,报告和处理记录至少保存三年。可直接核对中国人大网公布的《个人信息保护法》全文。
| 威胁模型问题 | 需要写下的答案 | 常见遗漏 | 对应验证 |
|---|---|---|---|
| 保护对象是谁 | 客户、患者、员工、未成年人、设备用户或数据贡献者 | 只写“用户数据”,没有区分敏感程度和权利主体 | 字段级数据清单与样本检查 |
| 向谁隐藏 | 云供应商、参与机构、模型运营者、内部工程师、外部查询者 | 把所有人视为同一个攻击者 | 角色、信任边界与串谋假设 |
| 保护什么阶段 | 采集、传输、存储、计算、发布、模型参数或日志 | 只验证传输加密 | 端到端数据流和密钥流 |
| 允许泄露什么 | 汇总值、交集规模、模型输出、误差范围或特定属性 | 没有定义输出本身的泄露 | 输出泄露函数与查询预算 |
| 失败会造成什么 | 重识别、成员推断、训练样本提取、歧视、凭据泄露或业务中断 | 只看准确率和延迟 | 隐私、攻击、恢复与权利影响测试 |
《网络数据安全管理条例》自 2025 年 1 月 1 日起施行,其中第十九条明确要求提供生成式人工智能服务的网络数据处理者加强训练数据和训练数据处理活动的安全管理,采取有效措施防范和处置风险。条例还强调分类分级、委托处理边界、投诉渠道和安全事件处置。工程团队应直接查看中国网信网公布的《网络数据安全管理条例》,不要把采用某个开源库当成法律责任转移。
所有方案都需要的共同底座
PET 是附加在治理和安全底座上的控制,不是替代品。最小可用底座包括:明确处理目的和法定基础;只采集完成任务所需的字段;按敏感程度分类;传输和静态加密;身份、最小权限与职责分离;开发、测试、生产隔离;日志脱敏与保留期;密钥轮换;数据主体权利响应;供应商退出与可验证删除;泄露、篡改和丢失的事件响应。没有这些基础,FHE 保护了委托计算时的明文,工程师仍可能从源数据库、解密结果、备份或监控系统拿到数据。
2025 年 5 月 1 日施行的《个人信息保护合规审计管理办法》附带审计指引,要求审查分类、内部制度、权限、影响评估、事件响应,以及加密、去标识化等技术措施的有效性。重点不是“是否采购”,而是保护措施是否与处理规模、类型和风险相适应并被验证。可查看办法与合规审计指引全文。企业治理、供应商和事件响应的完整闭环,另见本站企业 AI 数据合规指南;本文只深化技术选型和证明方法。
| 底座控制 | 最低证据 | PET 不能替代的原因 |
|---|---|---|
| 数据最小化 | 字段—目的映射、删除无关字段的记录 | PET 仍会处理输入;无关敏感字段不应先进入系统 |
| 身份与权限 | 角色矩阵、审批、离职回收和定期复核 | 解密端、协调端、日志端仍存在高权限 |
| 加密与密钥 | 算法、密钥所有者、轮换、吊销和备份策略 | “加密”不说明谁能解密,也不保护已解密输出 |
| 日志与保留 | 记录范围、脱敏规则、保留期限与删除验证 | 训练或推理安全不代表调试日志安全 |
| 事件响应 | 发现、遏制、通知、证据保存和恢复演练 | 任何 PET 都可能配置错误或遇到新攻击 |
| 退出与删除 | 主库、向量库、缓存、备份、模型和供应商副本清单 | 删除原始表不自动消除派生物和外部副本 |
匿名化与假名化:先纠正“删掉姓名就安全”
假名化是用编号、令牌或其他标识替代直接身份,并把重新关联所需的额外信息分开保护。它降低直接识别和横向泄露风险,但持有映射表的人仍能重新关联,因此不能把它当成“已不再是个人信息”的通行证。匿名化要求在考虑可合理获得的手段、其他数据、动机、成本和技术变化后,个人不再可识别。删除姓名、手机号并不够;精确时间、邮编、罕见疾病、职位、自由文本和行为轨迹组合起来仍可能定位个人。
ICO 2025 年发布的匿名化指南强调可识别性是连续谱,需要考虑“合理可能”与有动机攻击者,并通过技术与组织措施管理风险;其假名化说明则把额外信息、隔离和授权作为关键条件。它们属于英国监管资料,可用于理解技术边界,但中国项目仍需以适用的中国法律、行业规则和合同为准。
| 处理方式 | 示例 | 仍然暴露什么 | 验收方式 |
|---|---|---|---|
| 删除直接标识 | 删姓名、身份证号、手机号 | 准标识符、自由文本和组合特征 | 字段扫描、唯一组合分析 |
| 假名化 | 客户 ID 换为随机令牌 | 映射表、稳定标识产生的跨表关联 | 映射隔离、权限和轮换测试 |
| 泛化与抑制 | 年龄改年龄段、地点降到城市 | 小群体和罕见组合仍可能被识别 | 等价类、小单元与外部数据攻击 |
| 匿名化发布 | 满足风险阈值后发布数据集 | 未来数据源和新算法可能改变风险 | 有动机攻击者测试、定期复评 |
| 合成数据 | 模型生成结构相似的虚拟记录 | 训练样本记忆、罕见记录复现和属性推断 | 最近邻、成员推断、披露与效用测试 |
合成数据尤其容易被误判。它可以减少直接使用真实记录,但“由模型生成”不等于匿名。若生成器记住罕见训练样本,合成记录可能非常接近真实个体。验收时要同时做披露风险和业务效用测试,并保存训练数据范围、生成器版本、随机种子或可追溯配置、去重方式、攻击测试与发布审批。对个人使用 AI 时怎样做最小化和脱敏,可查看AI 会泄露隐私吗:个人数据分类与误传补救。
差分隐私:保护的是个体对结果的影响
差分隐私(Differential Privacy,DP)是一套量化隐私损失的数学框架。核心不是“随便加噪声”,而是让相邻数据集产生相近的输出分布,从而限制某一个人是否参与或贡献变化对结果的影响。项目必须明确相邻关系是增加或删除一个人、替换一条记录,还是一个人贡献的全部事件;还要记录 ε、δ、敏感度或裁剪上限、噪声机制、采样方式、查询次数和组合后的总预算。没有这些参数,“采用差分隐私”无法复核。
NIST SP 800-226《差分隐私保证评估指南》于 2025 年 3 月发布最终版,专门说明从数学定义落地到软件实现时的常见隐私危害。它提醒评估者关注隐私单位、邻接关系、参数、数据贡献边界、组合、实现和透明度,而不是只看到“DP”标签。差分隐私适合发布统计、遥测、训练或微调中的贡献保护,但不能替代源数据访问控制,也不能阻止授权者直接读取原始记录。
| DP 验收项 | 必须回答 | 失败信号 |
|---|---|---|
| 隐私单位 | 保护一条记录、一次事件、一个设备还是一个人 | 同一个人贡献很多记录却按单行保护 |
| 邻接关系 | 增加/删除还是替换;用户级还是记录级 | 文档和代码使用不同定义 |
| ε 与 δ | 单次和累计参数、选择理由、适用范围 | 只写“较小 ε”,没有数值与账本 |
| 贡献约束 | 每人最多多少条、每条数值范围、怎样裁剪 | 极端用户可无限放大敏感度 |
| 组合核算 | 重复发布、训练轮次和多指标怎样累计预算 | 每次查询都独立宣称同一预算 |
| 随机性与实现 | 安全随机数、浮点和离散化风险、测试版本 | 可预测随机种子或实现偏离证明 |
| 效用 | 误差区间、分群影响、是否足以支持决策 | 为了隐私让关键小群体结论失真却未披露 |
差分隐私不是统一强度的产品功能。ε 越小通常意味着更强的隐私约束和更大噪声,但不能脱离 δ、邻接、贡献限制和组合直接比较两个系统。对于模型训练,还要区分中央 DP、局部 DP 和分布式 DP,确认谁在何处加入噪声、谁能看到噪声前的更新。本站的差分隐私概念页目前仍需后续深度复核;在完成复核前,本页以 NIST 最终指南作为定义和验收依据。
联邦学习:数据不集中,不等于更新不泄露
联邦学习让参与设备或机构在本地数据上计算模型更新,再由协调方聚合;它减少把原始训练数据集中到一个中心的必要性,却不是天然匿名。单个梯度或模型更新可能暴露训练样本特征;恶意参与者可能投毒、建立后门或提交异常更新;协调方可能通过选择参与者、控制模型或多轮观察推断信息;最终模型还可能记忆训练样本。因此,生产方案通常要叠加安全聚合、贡献裁剪、差分隐私、参与方认证、更新异常检测、最小群体阈值和模型提取测试。
Google Research 的安全聚合研究把目标定义为服务器只得到一组客户端值的聚合结果,而不是各客户端的单独更新;其分布式差分隐私工程说明进一步解释安全聚合减少单个更新暴露,但聚合值本身仍可能泄露个人独特贡献,因此还要差分隐私。TensorFlow Federated 也提供联邦学习结合差分隐私的公开教程,可用于理解实现结构,不应被当成任何特定业务已经安全的证明。
| 联邦场景 | 主要收益 | 残余风险 | 需要叠加 |
|---|---|---|---|
| 手机端跨设备训练 | 原始交互留在设备,中心接收更新 | 稀疏参与、更新泄露、设备恶意和掉线 | 安全聚合、用户级 DP、最小群体、设备证明 |
| 医院或银行跨机构训练 | 减少直接交换原始数据 | 参与方少、分布差异、串谋和法规边界 | 合同、MPC/SecAgg、贡献审计、独立验证 |
| 联邦分析 | 只收集聚合统计而非事件明细 | 小单元、重复查询和唯一贡献 | 阈值、DP、查询预算和发布审查 |
| 个性化模型 | 保留部分本地适配能力 | 本地缓存、备份、恶意应用读取 | 设备安全、存储加密、撤销和本地删除 |
选择联邦学习前还要问一个成本问题:如果只有两个固定机构、需要的只是名单交集或一个聚合统计,MPC 或 PSI 可能比长期维护联邦训练平台更直接;如果数据能够合法、安全地在受控环境中集中,集中训练加严格访问控制有时更简单、更容易审计。不要因为“联邦”听起来先进,就为并不存在的数据孤岛构建复杂系统。
MPC 与 PSI:跨方联合计算,但仍要定义输出泄露
安全多方计算(MPC)允许多个互不完全信任的参与方对分散输入共同计算函数,理想目标是除各自输入和获准输出可推断的信息外,不暴露其他输入。私有集合求交(PSI)是常见特例,用于找出两方集合的交集或计算交集规模,而不直接交换完整名单。适合联合反欺诈、跨机构统计、广告归因或黑名单匹配等场景,但项目必须说明参与方数量、半诚实还是恶意攻击模型、最多允许多少方串谋、是否允许中止、输入有效性、输出向谁开放和输出可推断什么。
NIST 隐私增强密码学项目将 MPC 描述为多方在不共享各自输入的情况下联合计算,并把 FHE、PSI、零知识证明等放在同一工具体系中;其PEC 工具说明同时提醒理想功能图只是概念模型,具体协议还涉及公平性、中止、被攻陷参与方和输出泄露。验收不能只看密码库通过单元测试,还要验证协议参数、消息认证、重放保护、输入范围、参与方身份、错误处理和日志不会还原敏感输入。
| MPC/PSI 决策项 | 设计问题 | 上线证据 |
|---|---|---|
| 安全模型 | 半诚实还是恶意;多少参与方可串谋 | 协议说明、参数和第三方评审 |
| 泄露函数 | 交集成员、交集大小、总和还是模型结果 | 明确输出字段和接收角色 |
| 输入有效性 | 参与方能否用异常值探测他方或操纵结果 | 范围证明、校验、限额和异常处置 |
| 标识规范化 | 手机号、邮箱或 ID 怎样标准化和加盐 | 碰撞、字典攻击和跨项目关联测试 |
| 中止与恢复 | 掉线或恶意退出时是否泄露中间状态 | 故障注入、重试、超时和清理测试 |
| 结果再发布 | 是否会进行小群体筛选或重复查询 | 阈值、查询预算和发布审批 |
FHE 与 TEE:都能保护计算,但信任边界完全不同
全同态加密允许在密文上执行计算,持有计算任务的一方不需要看到明文,解密后得到对应的计算结果。它适合把特定推理或统计任务委托给不应读取输入的计算方,也可与联邦学习、MPC 或其他 PET 组合。代价通常包括更高计算与内存开销、支持算子限制、参数选择复杂、近似数计算误差、密文和密钥管理。FHE 不会保护解密端已经得到的结果,也不会自动阻止通过精心选择的查询推断输入。
NIST FHE 项目说明明确区分对位、整数和近似数的不同计算类型,并指出 FHE 的可塑性是实现密文计算所需特性,安全评估不能简单照搬普通加密。上线时要保存方案和参数、威胁模型、密钥生成与托管、精度误差、算子支持、性能基线、失败概率、解密接口权限和密钥轮换方式。不要只写“使用军用级同态加密”。
TEE 或机密计算依靠硬件隔离的执行环境,让数据在处理时只在受保护区域内以明文出现,并通过远程证明向外部证明加载了特定代码和配置。它通常比 FHE 更容易运行通用工作负载,但信任转移到硬件、固件、云平台、证明服务和密钥释放策略,也要面对侧信道、回滚、补丁和调试接口风险。中国国家标准公开信息中,GB/T 45230-2025《数据安全技术 机密计算通用框架》可作为术语和架构参考;具体实现仍需结合产品文档、硬件公告和项目威胁模型验证。
| 比较项 | 普通加密 + 受信环境 | FHE | TEE / 机密计算 |
|---|---|---|---|
| 计算时明文 | 在应用内存中出现 | 计算方通常不见明文 | 在隔离环境内部出现 |
| 主要信任 | 操作系统、管理员、应用与云平台 | 密码假设、参数、实现和密钥持有者 | 硬件、固件、证明链和密钥释放服务 |
| 工作负载 | 通用且性能最好 | 受方案、算子、精度和成本限制 | 较通用,但受内存、证明和平台限制 |
| 主要残余风险 | 管理员、内存和日志读取 | 输出推断、错误参数、解密端和密钥 | 侧信道、回滚、平台漏洞和证明误用 |
| 验证重点 | 权限、加固、审计和密钥 | 参数、正确性、精度、性能、密钥生命周期 | 远程证明、可信基线、补丁、回滚和密钥绑定 |
按项目场景选择,而不是按技术热度选择
企业 RAG:首要风险通常不是训练,而是检索权限继承、文档分块后的敏感片段、向量库多租户隔离、提示注入、连接器越权和输出再分发。应先做文档级与块级 ACL、检索过滤、最小权限、敏感信息检测、引用和审计。若需要跨机构检索或联合统计,再评估 PSI/MPC;若云端不应看到查询和文档明文,可对特定环节评估 TEE 或 FHE。本站企业 RAG 架构与权限设计指南可用于补齐检索层。
模型微调或训练:先核验训练数据来源、授权、删除和保留,再做去重、异常样本和敏感信息扫描。大量设备数据不宜集中时可评估联邦学习;要限制单个用户对模型的影响时评估用户级 DP;要降低逐字记忆还需训练数据去重、正则化、访问控制和提取测试。模型记忆和提取研究的真实边界见大模型训练数据泄露研究指南。
跨机构联合分析:只有集合交集或汇总统计时优先把函数缩小,再评估 PSI/MPC;需要共同训练模型且无法集中数据时考虑跨筒仓联邦学习,并根据参与方数量和信任关系组合安全聚合或 MPC。发布结果仍要防小单元、重复查询和成员推断,必要时叠加 DP。
云端敏感推理:若只是担心公网窃听,TLS 和静态加密是底线;若云管理员或平台本身不应看到明文,需要进一步评估 TEE 或 FHE。若模型权重也属于机密资产,要同时保护模型提供方与数据提供方的输入、输出和密钥。选择本地、云 API 或混合架构时,可参考本站AI 本地部署、云端 API 与混合架构决策指南。
| 场景 | 优先控制 | 可评估的 PET 组合 | 不要误判 |
|---|---|---|---|
| 企业知识库 RAG | ACL、连接器最小权限、租户隔离、引用和日志 | TEE/FHE 用于特定敏感计算;跨方时 PSI/MPC | 向量化不是匿名化 |
| 用户设备联合训练 | 本地数据最小化、参与认证、更新异常检测 | 联邦学习 + 安全聚合 + 用户级 DP | “数据不动”不等于更新不泄露 |
| 多机构名单匹配 | 缩小匹配目的、标识规范化、结果权限 | PSI,必要时叠加 DP | 哈希手机号不是安全 PSI |
| 联合风控统计 | 函数和输出最小化、参与方责任 | MPC + 阈值 + DP | 输入私密不代表输出无泄露 |
| 云端敏感推理 | 密钥、身份、日志、结果访问 | FHE 或 TEE,按工作负载选择 | 机密计算不是无条件信任消失 |
| 公开统计或数据集 | 发布审查、外部数据和重识别测试 | 匿名化 + DP;合成数据需披露测试 | 去标识或合成不自动匿名 |
六道上线门:怎样证明技术在当前项目中有效

第一道门是处理清单:字段、来源、目的、流向、保留和接收者完整;第二道门是威胁模型:攻击者、信任边界、允许泄露和失败影响明确;第三道门是技术组合:基础控制与 PET 的责任边界清楚;第四道门是攻击验证:按匿名化重识别、DP 预算、联邦更新泄露、MPC 串谋、FHE 参数或 TEE 侧信道分别测试;第五道门是效用与成本:精度、延迟、吞吐、失败恢复和运维负担可接受;第六道门是持续审计:数据、模型、参数、参与方和代码变化都会触发复评。

| 阶段 | 交付物 | 负责人 | 阻断条件 |
|---|---|---|---|
| 处理清单 | 数据流、字段、目的、来源、保留和接收者 | 业务、数据负责人、隐私 | 来源不明、目的泛化、无删除路径 |
| 威胁模型 | 攻击者、信任边界、资产、泄露函数和影响 | 安全、架构、隐私 | 只写外部黑客,不含内部和供应商 |
| 实现评审 | 协议、参数、代码版本、密钥与权限设计 | 工程、密码或隐私专家 | 保护主张无法对应到实现 |
| 攻击与隐私测试 | 重识别、成员推断、提取、串谋、异常输入报告 | 独立测试或红队 | 关键攻击未测或残余风险超阈值 |
| 效用与韧性 | 质量、延迟、资源、掉线、重试、回滚和恢复结果 | 产品、SRE、模型团队 | 保护措施在压力下被关闭或绕过 |
| 上线与持续监控 | 审批、指标、告警、预算账本、变更和退役计划 | 系统所有者、隐私、安全运营 | 无责任人、无暂停开关、无复评触发器 |
NIST AI 600-1 生成式 AI 风险管理配置文件建议记录数据与系统边界、第三方组件、测试结果和事件,并持续评估模型输出中的个人或敏感信息。OWASP LLM02:2025 敏感信息披露也强调仅靠系统提示不能阻止泄露,应使用数据清理、访问控制、最小权限和输出验证。两者不是中国法律替代品,但能帮助团队把“怎样证明”落到测试和运行证据上。
一份可直接用于评审会的选型清单
- 先写一句保护主张:例如“云计算方在推理期间不能读取输入明文”,而不是“我们要保护隐私”。
- 列出攻击者与信任:云管理员、参与机构、内部工程师、恶意客户端、外部查询者分别能做什么。
- 缩小函数和数据:能只求交集规模,就不要交换名单;能只处理片段,就不要上传整库。
- 先部署共同底座:身份、权限、加密、日志、保留、删除、备份和事件响应不能等待 PET 完成。
- 为每种技术写参数:DP 的 ε/δ 和组合、MPC 的串谋模型、FHE 的方案与参数、TEE 的可信基线和证明策略。
- 测试残余风险:匿名化做重识别,联邦学习做更新泄露和投毒,模型做成员推断与提取,发布做小单元和重复查询。
- 同时测效用和失败:记录准确率变化、尾延迟、资源、掉线、重试、回滚以及隐私控制是否在压力下失效。
- 设置变更触发器:新增字段、换模型、换供应商、扩大参与方、调整参数或改变用途时重新评估。
- 保留可审计证据:数据版本、代码、配置、密钥角色、测试报告、审批、例外和整改不能只留在聊天记录里。
- 准备暂停与退役:发生异常时能停止训练或查询,撤销凭据,隔离数据,通知责任人,并验证各副本删除。
如果项目还没有完整的责任、供应商、日志和事件流程,先按企业 AI 数据合规操作框架补齐治理;如果是带外部工具调用和写入动作的智能体,还要结合AI 智能体权限、审批、审计与回滚指南处理越权和自动外发。隐私增强技术只保护它被设计覆盖的边界,动作权限错误仍可能把受保护结果发送给不该接收的人。
常见问题
用了联邦学习,是否就不再处理个人信息?
不能这样判断。原始数据可能留在本地,但客户端仍在处理个人信息,模型更新、设备标识、参与日志和聚合结果也可能与个人有关或泄露贡献。需要结合具体数据、角色、用途、技术措施和适用法律判断,并评估更新泄露、投毒、记忆和删除。
把姓名换成哈希值,算匿名化吗?
通常不能仅凭这一操作认定匿名。邮箱、手机号和证件号的取值空间可被字典枚举,稳定哈希还会产生跨表关联;即使加盐,其他准标识和自由文本也可能重识别。若仍保留重新关联能力,更接近假名化。应隔离映射、限制权限,并按合理可识别风险测试。
差分隐私的 ε 设多少才安全?
没有脱离场景的统一安全值。必须同时考虑隐私单位、邻接关系、δ、贡献裁剪、采样、查询次数、组合预算、对小群体的效用影响和攻击模型。合格文档应解释参数选择和累计预算,而不是只报告一个 ε。
FHE 一定比 TEE 更安全吗?
不能按技术名称绝对排名。FHE 减少计算方看到明文的需要,但依赖密码方案、参数、实现和密钥,并有输出和性能边界;TEE 更适合通用工作负载,却依赖硬件、固件、证明链和侧信道防护。应按信任模型、算子、延迟、精度、运维和攻击面选择,必要时组合。
合成数据可以直接公开吗?
不可以自动放行。生成模型可能记住或重构训练记录,罕见样本尤其敏感。公开前要做最近邻、成员推断、属性披露、唯一组合和人工样本检查,同时确认业务效用、版权、来源和发布目的。
PET 通过一次测试后可以长期不复评吗?
不可以。新增字段、数据规模和分布变化、模型更新、参与方变化、参数调整、库升级、硬件漏洞、新攻击或用途扩展都可能改变结论。应定义触发复评的变更条件、固定周期和事件告警。
