一句话回答:AI 决策出错时,不能把责任推给“算法自己”。应根据谁决定用途、谁提供或修改系统、谁控制数据与阈值、谁批准上线、谁执行最终决定、谁有能力阻止或纠正损害,分别追究组织和自然人的责任。通常,面向用户作出决定并从中受益的部署组织承担直接治理责任;模型、软件和数据供应商对其可控制的设计缺陷、错误说明、安全与合同义务负责;高影响决定还必须有真正具备信息、时间和否决权的人工负责人。具体法律责任取决于地区、行业、合同、因果关系与证据,本文不替代个案法律意见。资料复核日为 2026 年 7 月 18 日。

为什么不能说“AI 自己负责”?
模型不会自行设定业务目的、购买数据、选择阈值、批准上线、签合同或向受影响者提供补救。把“AI 建议”“系统自动决定”写进流程,只描述了技术路径,没有回答谁授权了这条路径。现阶段应识别可承担义务、保存证据、赔偿损害和接受监管的组织与个人,而不是把 AI 当成可以吸收责任的法律挡箭牌。
OECD 问责原则要求 AI 参与者依据各自角色、情境和行动能力,对系统正常运行负责,并保留数据、流程和决定的可追溯性。NIST AI RMF Core进一步要求记录角色与沟通路径,并明确组织高层要为 AI 开发和部署的风险决定负责。这并不意味着每次错误都由 CEO 个人赔偿,而是高层不能把风险治理完全外包给工程师或供应商。
| 错误说法 | 问题 | 应改成的问法 |
|---|---|---|
| AI 自己做的决定 | 隐藏了用途、配置和上线授权人 | 谁允许系统在这个场景产生什么影响? |
| 模型只是工具,所以供应商无责 | 忽略设计缺陷、错误说明和安全义务 | 供应商控制了哪些风险,作出了哪些承诺? |
| 用了第三方 API,所以部署方无责 | 采购不等于转移对用户的全部义务 | 谁把输出用于用户决定,谁能停止或纠正? |
| 有人工审核,所以一定安全 | 人工可能没有信息、时间或否决权 | 审核者是否能理解、质疑、覆盖并记录理由? |
| 模型准确率很高,所以无需归责 | 平均指标不能证明个案合理或程序正当 | 本次决定的输入、规则、证据和救济是否有效? |
先区分“模型输出”和“最终决定”
聊天回答、风险分数、候选人排序和诊断提示通常是模型输出;拒绝贷款、不给面试、改变治疗、暂停账号或触发付款才是对人或业务产生影响的决定。两者可能由不同主体控制。系统提供者可以控制模型和接口,部署者控制用途、数据接入、阈值与工作流,业务人员控制是否采纳,管理层控制资源与风险容忍度。
| 层次 | 典型内容 | 最低责任问题 |
|---|---|---|
| 模型输出 | 文本、概率、分数、排序、标签 | 版本、输入、限制和不确定性是否记录? |
| 业务规则 | 阈值、优先级、例外、自动触发条件 | 谁制定规则,依据和影响评估是什么? |
| 人工判断 | 采纳、拒绝、覆盖、追加调查 | 审核者是否胜任并有真实否决权? |
| 最终决定 | 批准、拒绝、诊疗、处罚、付款、发布 | 谁签核,如何告知、解释、申诉和恢复? |
| 持续运营 | 监控、投诉、事件、模型和数据变更 | 谁能暂停系统,谁确认修复有效? |
因此,“human in the loop”不能只是在界面上放一个确认按钮。审核者若只看到模型结论、没有原始材料,必须在数秒内点击,或覆盖模型会被绩效惩罚,就不构成有效监督。需要设计人机协作时,可结合AI 智能体与自动化治理指南中的权限、审批和回滚方法。
提供者、部署者和使用者分别负责什么?
| 角色 | 能够控制的事项 | 典型责任 | 关键证据 |
|---|---|---|---|
| 模型/系统提供者 | 架构、训练、测试、接口、说明和更新 | 合理设计与测试、披露限制、安全维护、变更通知 | 模型卡、测试报告、版本、漏洞和更新记录 |
| 数据或组件供应商 | 数据来源、许可、质量、标注或组件 | 权利保证、质量边界、缺陷通知和可追溯 | 来源、许可、质量报告、处理和交付记录 |
| 部署组织 | 用途、用户、输入、阈值、权限和流程 | 适用性评估、本地验证、人工监督、告知、申诉和停用 | 影响评估、配置、审批、监控、投诉与事件记录 |
| 业务决策者 | 是否采纳输出和作出最终决定 | 核对证据、处理例外、记录理由、避免盲从 | 案件材料、覆盖理由、复核和签核记录 |
| 高层/治理机构 | 目标、预算、风险容忍度和问责机制 | 明确禁止用途、配置资源、监督重大风险与退役 | 政策、风险接受、审计、资源和会议决定 |
| 最终用户 | 输入、提示和授权范围内的使用 | 遵守用途与规则、不越权、不传播已知错误 | 操作日志、培训、授权和异常报告 |
这张表是治理分工,不是法院裁判公式。同一组织可能同时扮演提供者和部署者;对开源或开放权重模型进行大幅修改,也可能改变其实际角色。外包合同可分配双方义务和追偿方式,但不能当然排除法律对个人信息处理者、产品提供者、雇主、医疗机构或公共部门的直接要求。
怎样用 RACI 避免“人人负责等于无人负责”?

RACI 中,R 是执行者,A 是最终问责人,C 是必须咨询者,I 是需要知会者。最常见的失败是把所有部门都列为“共同负责”,却没人有权暂停上线。对每个高影响环节指定一个 A,并给他获取证据、拒绝风险和调配资源的权限。
| 环节 | 建议 A | 建议 R | 必须 C | 完成证据 |
|---|---|---|---|---|
| 用途立项 | 业务 Owner | 产品负责人 | 法务、隐私、安全、受影响领域专家 | 目的、边界、替代方案和风险分级 |
| 数据使用 | 数据 Owner | 数据团队 | 隐私、知识产权、安全 | 来源、依据、许可、质量和删除路径 |
| 模型验收 | 风险 Owner | 模型与测试团队 | 业务、独立验证、供应商 | 基准、分群、失败案例、置信与限制 |
| 生产上线 | 业务 Owner | 工程与运营 | 安全、合规、客服 | 闸门、权限、监控、回滚和培训 |
| 个案决定 | 有法定或业务权限的人员 | 经培训审核者 | 必要时领域专家 | 输入、输出、理由、覆盖与通知 |
| 严重事件 | 事件指挥人 | 响应团队 | 法务、隐私、安全、业务和沟通 | 隔离、证据、补救、通知和复盘 |
| 退役 | 系统 Owner | 工程与数据团队 | 采购、档案、法务和用户支持 | 停用、迁移、保留、删除和责任移交 |
怎样证明人工监督不是“橡皮图章”?
NIST 关于人机交互的附录要求明确区分使用、交互和管理 AI 系统的不同人类角色。有效监督至少要同时具备能力、信息、时间、权限和反馈:审核者理解系统适用边界,能够查看决定所需材料,有足够时间核验,能够拒绝或停止,并能把错误反馈给系统 Owner。缺少任一项,“人工在环”都可能只是把自动决定形式上改成一次点击。
| 监督条件 | 失败信号 | 可验证证据 |
|---|---|---|
| 能力 | 只培训界面,不培训错误类型和边界 | 角色化培训、考核和定期复训 |
| 信息 | 只显示模型结论,不显示来源和原始材料 | 证据入口、版本、置信和限制提示 |
| 时间 | 审核量超过人员可合理完成的水平 | 工作量、处理时长、抽查和升级比例 |
| 权限 | 覆盖模型会被惩罚,或无法暂停自动动作 | 覆盖、暂停、转人工和回滚权限 |
| 反馈 | 错误只在个案修正,不进入产品和治理 | 问题单、根因、Owner、修复与复测闭环 |
中国网信办发布的《个人信息保护合规审计管理办法》也把自动化决策透明、公平、公正、事前影响评估、重大影响决定的说明与拒绝机制列为重点审查事项。组织要准备能够被审计的实际记录,而不是只在制度里写“必要时人工复核”。
中国场景下应先核对哪些责任?
如果系统利用个人信息自动分析个人的行为、兴趣、健康、信用等并作出决定,应核对《个人信息保护法》。工信部主管页面转载的法律正式文本第二十四条要求个人信息处理者保证自动化决策透明、公平、公正;对个人权益有重大影响的决定,个人有权要求说明,并有权拒绝仅通过自动化决策作出决定。第五十五、五十六条还要求在自动化决策等高风险处理前进行个人信息保护影响评估,并保存相应记录。
面向中国境内公众提供生成文本、图片、音频或视频服务时,还要判断是否适用《生成式人工智能服务管理暂行办法》。该办法明确提供者承担网络信息内容生产者、网络信息安全及相应个人信息处理者责任,并要求明确服务适用范围、保护输入与使用记录、处理违法内容和建立投诉举报机制。组织内部研发、不向境内公众提供服务时可能不适用该办法,但仍可能受个人信息、数据、安全、劳动、消费者和行业规则约束。
| 问题 | 应识别的主体 | 不能缺少的控制 |
|---|---|---|
| 用个人信息自动评分 | 决定目的和方式的个人信息处理者 | 透明公平、影响评估、说明、拒绝与人工渠道 |
| 对公众提供生成式服务 | 服务提供者及合作处理方 | 适用范围、协议、信息安全、投诉与违法内容处置 |
| 员工招聘或绩效辅助 | 雇主、工具提供者和实际决策者 | 合法必要、分群检验、人工复核、申诉和记录 |
| 医疗、金融等高影响用途 | 持牌/服务机构、专业人员和供应商 | 行业规则、专业最终判断、验证和事件报告 |
| 第三方模型接入业务 | 部署组织与供应链各方 | 合同只是起点,还需本地验证、监控、降级和退出 |
涉及欧盟市场时,提供者和部署者如何分工?
欧盟《人工智能法案》不是把全部义务放在一个“AI 公司”身上,而是按 provider、deployer、importer、distributor 等角色分配。正式文本要求高风险系统提供者建立风险管理、数据治理、技术文档、日志能力、透明说明、人类监督设计、准确稳健与上市后监测;部署者则应按说明使用、分配具备能力的人工监督、确保输入数据相关、监测运行并在特定情形保存日志或完成基本权利影响评估。应以 EUR-Lex 正式文本和欧盟委员会当前实施时间表为准。
| 角色 | 不能外包掉的核心问题 | 交接材料 |
|---|---|---|
| 提供者 | 系统设计、预期用途、限制、合规与持续监测 | 说明、版本、技术文档、测试、日志能力和更新通知 |
| 部署者 | 本地用途、人员监督、输入质量、运行监测和受影响者程序 | 本地影响评估、配置、培训、决定记录、投诉与事件流程 |
| 供应链中间方 | 未经授权修改、信息传递和可追溯 | 来源、变更、说明、合同和异常升级路径 |
| 自然人监督者 | 理解限制、识别异常、拒绝盲从和停止系统 | 培训、权限、工作量、覆盖理由和升级记录 |
合同能把责任全部转给供应商吗?
不能简单这样理解。合同可以规定数据权利、服务水平、测试材料、安全事件通知、审计权、赔偿、责任上限、退出和删除,但对用户或监管者承担的法定义务未必能通过双方合同消失。部署组织仍要证明为什么选择该系统、怎样验证本地表现、如何限制用途、谁监督决定以及发生损害后怎样恢复。
| 合同条款 | 要解决的问题 | 不能只写什么 |
|---|---|---|
| 预期用途与禁止用途 | 避免把通用工具用于未验证高风险决定 | “客户自行负责一切使用” |
| 性能与测试材料 | 锁定版本、数据、指标、群体和失败边界 | “行业领先准确率” |
| 变更通知 | 模型、数据、过滤和接口变化触发回归 | “服务可随时更新” |
| 安全与事件 | 通知时限、证据、协作、补救和监管沟通 | “按商业合理努力处理” |
| 审计与可追溯 | 获得决定调查所需日志和版本信息 | 只给汇总状态页 |
| 退出与迁移 | 导出数据、停用模型、删除副本和业务连续性 | 只有续费与终止价格 |
AI 出错后怎样判断责任,而不是先找替罪羊?

事故调查应同时回答事实、控制和救济三个问题:实际发生了什么;哪个责任主体本可预防、发现或限制;受影响者怎样恢复。不要只看最后点击按钮的人,也不要只看模型生成了什么。若上游说明错误、部署配置越界、审核岗位工作量不可能完成、管理层拒绝配置资源,这些都可能构成不同层面的原因。
| 调查维度 | 必须保存的证据 | 可能暴露的责任缺口 |
|---|---|---|
| 输入与数据 | 来源、时间、权限、质量、缺失和变换 | 非法使用、数据漂移、错误映射或标签偏差 |
| 模型与版本 | 模型、提示、参数、工具、过滤和更新 | 缺陷、未通知变更、越界使用或测试不足 |
| 业务规则 | 阈值、例外、自动动作和优先级 | 目标设定错误、风险容忍不当或配置失误 |
| 人工监督 | 界面、材料、时间、培训、覆盖和升级 | 橡皮图章审核、自动化偏见或权限不足 |
| 最终影响 | 通知、决定、传播范围、持续时间和损害 | 未及时停止、未告知或补救不足 |
| 治理与资源 | 风险接受、审计发现、预算和未关闭问题 | 已知风险被忽视、责任不清或监控失效 |
事实核验可使用本站的原子主张与证据忠实度框架;更完整的事件处置与申诉闭环见AI 道德准则落地指南。两者都要求记录证据不足之处,而不是用“系统原因”提前结束调查。
五类常见场景中谁应签字?
| 场景 | 模型角色 | 建议最终签字者 | 最低人工保障 |
|---|---|---|---|
| 招聘筛选 | 排序或风险提示 | 有招聘权限的业务/人力负责人 | 查看完整材料、分群检验、拒绝纯模型淘汰、申诉 |
| 医疗辅助 | 检测、诊断或治疗建议 | 依法有权作出专业决定的人员/机构 | 患者情境、适用边界、独立判断、记录与复核 |
| 信贷或保险 | 评分、定价或欺诈提示 | 相应业务与合规授权人 | 理由说明、公平检验、例外复核与人工渠道 |
| 内容发布 | 生成或审核建议 | 发布主体的编辑/业务负责人 | 来源核对、版权隐私、标识、纠错与撤回 |
| 智能体写入/付款 | 规划并调用工具 | 资产或流程 Owner | 最小权限、参数预览、金额上限、显式批准和回滚 |
高影响不只取决于行业名称,还取决于决定是否不可逆、影响权利与机会、涉及儿童或弱势群体、作用多久、能否申诉以及人与组织之间是否存在权力不对称。完整风险分级和生产上线方法可继续阅读AI 项目从问题定义到上线监控指南。
小团队如何在 30 天内建立最低问责机制?
| 时间 | 任务 | 完成证据 |
|---|---|---|
| 第 1 周 | 盘点 AI 系统、用途、供应商、数据、影响对象和当前 Owner | 系统清单与高影响优先级 |
| 第 2 周 | 为立项、数据、模型、上线、个案和事件建立 RACI | 每个关键决定只有一个 A,并有升级路径 |
| 第 3 周 | 选择一个高影响系统回放失败案例,检查日志、人工监督与申诉 | 测试报告、证据缺口、停止线和修复 Owner |
| 第 4 周 | 影子运行事件流程,验证暂停、通知、纠正、恢复和供应商协作 | 演练记录、时限、复盘和管理层风险决定 |
最低机制不是多写一份政策,而是确保任何人都能回答:系统谁拥有、什么用途被禁止、谁能批准上线、谁能停止、受影响者找谁、用哪些记录重建决定。对滥用、欺诈和越权风险的专门防线可参考AI 滥用风险与防范指南。
常见问题
用了开源模型,出错就全部由部署者负责吗?
不能一概而论。部署者通常要为用途、配置、数据、验证和最终影响负责;但模型、数据、集成组件的提供者仍可能对其承诺、许可、缺陷、安全或信息披露承担相应义务。应按具体角色、控制能力、因果关系和适用规则分析。
员工点击了“确认”,公司就可以免责吗?
不能。需要检查员工是否被授权、是否接受训练、是否看到必要材料、是否有足够时间和真实否决权,以及公司是否用指标迫使其盲从。无效的人类监督不能把组织风险转给一线员工。
AI 只是给建议,还需要记录吗?
看影响程度。如果建议实际决定了排序、审查范围或最终结果,就应记录版本、输入、输出、采纳/覆盖理由和责任人。否则组织无法证明人类真的作出独立判断,也无法调查系统性偏差。
责任矩阵做好后是否长期不变?
不是。模型、数据、用途、供应商、组织结构或法规变化后都要重审。责任人离职、接口更新或自动化权限扩大,都会使旧矩阵失效。
结论:责任必须和控制权一起设计
可靠的 AI 问责不是事故后决定谁背锅,而是在上线前就把决定权、资源、证据、停止权和补救责任绑定。模型提供者不能用“仅供参考”掩盖可控制的缺陷;部署组织不能用“第三方模型”逃避本地用途和用户程序;人工审核者也不能只有责任而没有信息与权限。只有每个关键决定都有明确 Owner、每次影响都能重建、每个受影响者都有可达救济,AI 才真正进入可治理的生产系统。
编辑复核与纠错记录:本文由兰塞 AI 编辑流程于 2026 年 7 月 18 日复核。旧稿把“AI 系统本身承担责任”描述为可选方向,缺少角色、控制权、个人信息自动化决策权利、提供者与部署者义务、RACI、证据和申诉。新版依据 NIST、OECD、中国人大网、中国政府网、EUR-Lex 与欧盟委员会一手资料重写;不对具体案件作法律结论。本站来源、更新与纠错原则见关于本站与编辑规范。
