一句话答案：Databricks 现在不只是“托管 Spark Notebook”，而是一套覆盖数据摄取、湖仓存储、治理、数据工程、SQL/BI、机器学习和生成式 AI 应用的托管数据与 AI 平台。选不选它，关键不是功能多不多，而是你的数据规模、云架构、跨团队协作、治理、实时性、AI 路线、运维能力和退出要求，能否从统一平台获得高于迁移与锁定成本的实际价值。
Databricks 是什么，不是什么
Databricks 官方将其定义为用于大规模构建、部署、共享和维护数据、分析与 AI 解决方案的统一开放平台。这里的“统一”是厂商对产品范围的描述，不代表所有组织都应把全部数据工具迁入。平台仍依赖 AWS、Azure 或 Google Cloud 的账号、存储、网络和身份边界，具体功能、区域、命名和发布阶段也会不同。
| 常见理解 | 更准确的边界 |
|---|---|
| Databricks 就是 Spark | Spark 是核心计算基础之一，平台还包含治理、SQL/BI、任务编排、ML/AI 和服务能力 |
| 湖仓就是一个数据湖 | 湖仓强调开放存储上的事务、模式、治理和面向多类工作负载的数据服务 |
| Unity Catalog 是表目录 | 它还承担数据与 AI 资产的权限、血缘、审计和发现 |
| Notebook 能跑就是生产 | 生产还需要环境、身份、任务、质量、监控、版本、告警和回滚 |
| Mosaic AI 等于一个大模型 | 它覆盖模型/应用开发、评测、治理与服务等多类能力，具体可用性需逐项核验 |
官方的 Databricks 概览在 2026 年已经包含 AI/BI、Genie、湖仓、Unity Catalog、DevOps/CI-CD 和 ML/AI。旧稿只围绕 Spark 和 MLflow，因此无法再回答用户“Databricks 现在到底做什么”。
湖仓、Data Intelligence Platform 与组件是什么关系
Databricks 湖仓文档把数据湖和数据仓库能力组合为一种架构模式：数据进入开放云存储，经 Delta Lake 等能力获得事务和模式约束，再由 Unity Catalog 统一治理，最终服务于工程、SQL/BI、机器学习和应用。Data Intelligence Platform 是厂商在此基础上的当前产品定位，加入对组织数据语义的 AI 辅助能力。
| 层 | 主要组件 | 应交付的证据 |
|---|---|---|
| 云与存储 | 云账号、对象存储、网络、身份 | 数据归属、区域、加密和网络路径 |
| 表与湖仓 | Delta Lake、开放表/文件 | 模式、事务、版本、读写兼容 |
| 统一治理 | Unity Catalog | 权限、血缘、审计、所有者和删除责任 |
| 数据工程 | Lakeflow、Spark、Jobs | 数据质量、延迟、重跑和失败恢复 |
| 分析与 BI | SQL Warehouse、AI/BI、Genie | 指标语义、权限、查询与答案复核 |
| ML 与 GenAI | MLflow、Mosaic AI、Model Serving | 实验、模型/应用版本、评测、服务和监控 |
Unity Catalog 为什么是平台决策的核心
Unity Catalog是 Databricks 内置的数据与 AI 治理层：查询表或调用模型时执行权限，记录资产使用血缘和审计活动。新建 Workspace 的默认状态与历史 Workspace 不同，采购或迁移前必须核实自己的 metastore、workspace 绑定、身份联邦和现有对象，不应根据一篇教程假设已经启用完成。
| 治理问题 | 试点要证明什么 | 错误做法 |
|---|---|---|
| 谁能发现资产 | 目录、schema、表、模型的 browse 与使用权限 | 所有人先给管理员权限 |
| 谁能读取数据 | 组、服务主体、行列策略和临时授权 | 把 Workspace 成员等同数据权限 |
| 数据来自哪里 | 关键列、作业、Notebook 与仪表板血缘 | 声称所有外部处理都自动捕获 |
| 谁改变了什么 | 审计事件、所有者和变更单 | 只保留人类可改的 Notebook |
| 删除谁负责 | 托管与外部资产分别定义生命周期 | 把删除目录等同删除底层文件 |
Unity Catalog 血缘文档说明了自动捕获、权限可见性与保留边界；PRIVATE 表等场景可能不完整。托管与外部资产说明还区分了治理元数据和底层存储生命周期责任。两者不能混为“平台自动替我管理一切”。
数据工程：Lakeflow、Jobs 与 Notebook 怎样分工
Notebook 适合探索和解释，但不自动提供可靠生产管道。Lakeflow Spark Declarative Pipelines 更偏向声明数据集及转换关系；Lakeflow Jobs 负责任务之间的程序化编排，也能触发管道；Declarative Automation Bundles 用配置文件管理 Jobs、Pipelines 等资源的验证和部署。
| 工作对象 | 适合用途 | 生产验收 |
|---|---|---|
| Notebook | 探索、教学、临时分析和原型 | 依赖、参数、权限和输出可复现 |
| Lakeflow Pipeline | 流式/批式数据集与转换 | 质量规则、模式变化、延迟和重放 |
| Lakeflow Jobs | 跨 Notebook、SQL、脚本、模型和管道的任务 | 依赖、重试、并发、告警、补数和回滚 |
| Bundles | 把资源和环境作为代码验证部署 | dev/staging/prod 隔离、审查与部署记录 |
管道任务文档明确区分触发式与连续模式；连续管道不需要用任务反复触发。Bundles 作业教程说明了如何把资源定义、验证和部署程序化。平台名称和菜单会变，文章因此只描述职责与证据，不写易过期的按钮路线。
SQL、AI/BI 与 Genie：自然语言不等于正确指标
AI/BI 包含仪表板和面向自然语言问数的 Genie 体验。它们建立在组织数据与 Unity Catalog 治理之上，但“基于企业数据”不等于自动理解所有业务定义。数据团队仍要定义可信数据集、指标、连接关系、时间口径、权限和可接受问题，并用真实查询评测。
| 产物 | 适合回答 | 必须人工确定 |
|---|---|---|
| SQL 查询 | 结构明确、可复算的问题 | 表、连接、过滤、时区和口径 |
| AI/BI Dashboard | 固定、周期性业务观察 | 指标定义、权限、刷新和解释 |
| Genie Agent | 允许追问的自然语言探索 | 可信资产、指令、业务语义和质量监控 |
| Genie One | 业务用户统一消费入口 | 身份、共享范围和可见资产 |
AI/BI 概念文档描述仪表板、Genie Agents 和平台集成；管理指南显示共享、下载、网络和审计仍依赖明确配置。不要把厂商关于性能或易用性的营销表述当作独立测试结果。
传统机器学习：MLflow、特征、模型注册和服务
MLflow 用于实验、模型和应用生命周期记录，但一个实验页面不是完整 MLOps。生产路线还要把训练数据版本、特征、代码、环境、评测、批准、注册模型、部署端点、流量、监控和回滚关联起来。Unity Catalog 可治理表、特征和模型，Lakeflow Jobs 可编排训练与批处理，Model Serving 提供实时和批推理接口。
| 阶段 | 产物 | 最低证据 |
|---|---|---|
| 实验 | 参数、指标、代码和产物 | 同一数据快照可复现 |
| 评测 | 固定集、切片、基线与严重错误 | 业务和风险门同时通过 |
| 注册 | 模型版本、别名、所有者 | 批准与用途边界 |
| 部署 | 端点、批作业或下游制品 | 身份、配额、延迟、降级和回滚 |
| 运行 | 输入、输出、漂移、质量和成本 | 线上版本能对应评测报告 |
Model Serving 文档说明支持自定义模型、基础模型和外部模型等路径，但实际支持、区域、费用和吞吐模式会变化。读者仍应先按 AI 项目从评测到上线的方法建立基线和停止条件。
生成式 AI 与 RAG：平台不能替代证据设计
Databricks 可把数据、向量检索、模型/外部模型、评测、服务和治理组合成 RAG 或 Agent 应用。但系统仍可能检索错、引用错、权限泄漏、工具越权或生成无依据内容。把数据放进 Unity Catalog，只解决部分资产与权限治理；它不会自动保证检索覆盖、答案忠实或业务动作安全。
| GenAI 层 | 应验证 | 不能只看 |
|---|---|---|
| 知识源 | 版本、权限、所有者和更新 | 文档数量 |
| 检索 | 召回、过滤、冲突和无答案 | 向量相似度 |
| 模型 | 主张支持、遗漏、拒答和成本 | 语言流畅度 |
| 工具 | 最小权限、预览、幂等和人工确认 | 调用成功 |
| 服务 | 版本、延迟、配额、监控和回滚 | 演示能运行 |
Unity Catalog 基础模型页面在复核时标注 Public Preview，并受区域和 Model Serving 可用性影响。不能写成所有账号都稳定提供同一模型。原理和评测可继续阅读 RAG 检索增强生成指南与 AI 幻觉核验方法。
Databricks 适合什么团队
| 条件 | Databricks 可能有价值 | 先评估其他方案 |
|---|---|---|
| 数据与工作负载 | 批流、SQL、ML/AI 共用数据和治理 | 单一小型数据库与少量报表 |
| 团队 | 工程、分析、科学和 AI 多角色协作 | 只有一个低频脚本 |
| 治理 | 需要统一权限、血缘、审计和资产目录 | 尚无身份、数据所有者和分类制度 |
| 运维 | 愿意把资源、环境、任务和监控工程化 | 只想把 Notebook 当生产服务 |
| 云与退出 | 接受目标云架构并有数据/代码迁移方案 | 要求完全避免托管平台依赖 |
选择时不应做“Databricks 对某平台谁更强”的空泛表格，而要把同一真实工作负载在候选方案上部署，比较数据复制、权限、质量、查询/作业、延迟、运维、总成本和退出。工具比较方法见 AI 工具与平台选型清单。
AWS、Azure 和 Google Cloud 版本不能直接视为完全相同
三种云版本共享大量产品概念，但账号结构、身份集成、网络、对象存储、区域、Marketplace、密钥、私有连接、可用 SKU 和功能上线节奏可能不同。同一篇 AWS 文档不能自动证明 Azure 或 Google Cloud 已有相同能力；即使名称相同，组织的网络与权限实现也会改变数据路径和运维责任。
| 云前提 | 试点必须确认 | 失败影响 |
|---|---|---|
| 账号与组织 | Databricks account、workspace 与云账号归属 | 账单、权限和资源无法分责 |
| 身份 | IdP、用户组、服务主体与临时凭据 | 共享账号、过度授权或离职残留 |
| 网络 | 私网、出口、DNS、防火墙和外部数据源 | 数据绕行、依赖不可达或费用异常 |
| 存储 | 桶/容器位置、加密、所有权和删除 | 误删、跨区或退出时取不回数据 |
| 区域能力 | 目标区域当日的服务、模型和 Preview 状态 | 设计依赖尚未开放的功能 |
因此，架构评审必须引用目标云版本的文档，并在实际账户中验证。跨云不等于点击一个开关迁移：数据、身份、网络、作业、模型端点和监控都需要单独复核。若组织把数据工程与 AI 应用组合为多个下游动作，还应采用 数据事实源与 AI 应用分层方法，避免平台层统一却在业务层继续产生冲突事实。
试点报告还应注明云、区域、Workspace 创建年代、Runtime、Catalog 模式和功能发布阶段。缺少这些环境字段的结果，无法判断另一支团队或下一次部署是否能复现，也不适合作为全面迁移依据。
数据质量和故障恢复决定湖仓是否可信
把原始文件转成 Delta 表并不自动产生可信数据。每条关键数据链都要定义模式、主键或去重依据、时间语义、迟到数据、空值、有效范围、引用完整性和业务对账；质量失败是阻断、隔离还是告警，必须按下游影响决定。对仪表板、模型或 Agent 的输入表，还要记录谁批准成为可信资产以及何时重新验证。
| 质量维度 | 可执行检查 | 故障处置 |
|---|---|---|
| 完整性 | 必填字段、分区和来源批次齐全 | 阻断发布或隔离缺失批次 |
| 唯一性 | 业务键、重复事件和重放幂等 | 去重并保留冲突记录 |
| 有效性 | 类型、范围、枚举和时间逻辑 | 进入错误表，禁止静默填充 |
| 一致性 | 源端总量、金额、状态与目标对账 | 停止下游并回查血缘 |
| 及时性 | 水位、延迟、迟到和缺批 | 展示数据新鲜度并触发补数 |
| 可追溯 | 表、列、作业、代码和运行版本 | 缺血缘的产物不得作为权威源 |
恢复演练至少覆盖源端重复发送、模式新增/删除、作业中途失败、下游消费已开始、权限撤销和错误数据已进入报表或模型。团队要能回答：从哪个检查点重跑、怎样避免重复写、哪些下游必须失效、怎样通知消费者、修复后如何证明结果与源端一致。只设置“失败自动重试”可能把确定性坏数据反复写入，不能替代根因和停止条件。
| 恢复证据 | 验收问题 |
|---|---|
| 运行记录 | 能否定位首次失败、输入批次和代码/配置版本 |
| 幂等与检查点 | 重跑是否产生重复、遗漏或顺序错误 |
| 下游影响 | 血缘能否找到报表、表、特征、模型与应用 |
| 回滚/修正 | 能否恢复稳定版本并重新计算受影响范围 |
| 复盘 | 故障是否进入新的质量规则、测试和告警 |
30 天试点：从一条数据链开始
- 第 1–5 天：选一个有现有基线的数据任务，冻结样本、指标、预算、禁止事项和退出条件。
- 第 6–10 天：配置身份、Catalog、schema、存储和最小权限；确认托管/外部资产责任。
- 第 11–16 天：构建一条最小摄取—转换—服务链，加入模式和质量失败处理。
- 第 17–21 天：接入一个消费端：SQL/仪表板、模型批推理或受控 RAG，不同时做全部场景。
- 第 22–26 天：把任务、环境、配置和监控版本化，演练失败重跑、权限撤销和回滚。
- 第 27–30 天：用相同输入与原流程比较质量、业务结果、延迟、总成本和风险，再决定扩大或停止。
| 试点门 | 通过条件 | 停止条件 |
|---|---|---|
| 问题与基线 | 任务、样本、原流程和成功标准明确 | 无法说明为何需要平台 |
| 身份与治理 | 最小权限、所有者、审计和删除责任 | 靠共享管理员账号运行 |
| 数据链 | 来源、模式、质量、血缘和重放 | 失败后无法恢复或复算 |
| 工作负载 | 一个真实消费端端到端通过 | 只有孤立 Notebook 演示 |
| 质量与成本 | 同基线比较且风险护栏未恶化 | 只报告速度或厂商样例 |
| 运维与退出 | 版本、告警、回滚和导出已演练 | 线上版本不可追溯 |
成本怎样计算，如何避免失控
总成本不只是 DBU 或某个 SKU。还包括云计算、对象存储、网络、SQL/服务资源、数据复制、开发、治理、监控、空闲、失败重试、人工排障、迁移和退出。Databricks 的 system tables可用于观察账单用量、作业、计算和审计，但前提是 Unity Catalog 与相关表可用，并正确保护其中的敏感运营数据。
| 成本组 | 记录内容 | 常见漏项 |
|---|---|---|
| 平台与云 | SKU/DBU、计算、存储、网络和区域 | 云账单与平台账单分开看 |
| 工程 | 迁移、管道、权限、CI/CD 和测试 | 只算首次 Notebook |
| 运行 | 作业失败、重试、空闲、告警和值班 | 开发资源长期常开 |
| 消费 | SQL、Dashboard、Serving、外部模型 | 按调用和并发变化的费用 |
| 退出 | 数据导出、代码迁移、替代服务和培训 | 只比较当月单价 |
价格系统表记录历史 SKU 列表价变化，不能替代合同折扣和云端实际账单。文章不提供固定价格或“几个月回本”结论，采购时应以当日区域、云、SKU、承诺和自己的负载重新测算。
迁移、锁定和退出要提前设计
| 资产 | 降低锁定的方法 | 退出测试 |
|---|---|---|
| 数据文件 | 明确开放格式、位置和生命周期 | 外部引擎能否读取关键表 |
| 元数据/权限 | 导出 Catalog、所有者和授权映射 | 能否在替代平台重建 |
| 代码 | 业务逻辑与平台配置分离 | 识别专有 API 和运行时依赖 |
| 任务 | Bundles/配置版本化，保留参数和依赖 | 能否重建调度和重试语义 |
| 模型/应用 | 保存格式、环境、评测和接口契约 | 在替代服务重放固定样本 |
开放格式会降低部分数据锁定，但治理、任务、权限、服务和人员技能仍可能形成迁移成本。任何“开放平台”判断都应拆到具体资产验证，而不是依据一个标签。跨团队 AI 工作流还应结合 AI 工作流编排与治理定义责任和回滚。
采购前必须问的十个问题
| 问题 | 需要的证据 |
|---|---|
| 目标云和区域支持哪些能力 | 当日区域矩阵与账户实际界面/API |
| 哪些功能是 GA、Preview 或 Beta | 对应文档和发布日期 |
| 数据、模型和日志存在哪里 | 数据流、网络、保留和删除说明 |
| 身份与 Catalog 如何接入 | 组、服务主体、metastore 和最小权限方案 |
| 现有仓库/湖/BI 是否重复 | 工作负载和数据复制清单 |
| 如何观测质量、作业和成本 | 系统表、告警、仪表板和责任人 |
| 故障时怎样降级和恢复 | 重跑、补数、回滚和旧流程演练 |
| 如何迁出 | 数据、元数据、代码、模型和任务导出测试 |
| 谁批准 AI/BI 或 Agent 答案 | 可信语义、评测、反馈和申诉 |
| 总成本怎样与基线比较 | 同一任务、同一时间窗的全成本记录 |
常见问题
Databricks 必须部署在云上吗？
Databricks 是托管云平台，并与 AWS、Azure 或 Google Cloud 的存储、网络和身份集成。具体部署、可用功能和责任边界应按目标云与区域核验。
有 Databricks 还需要数据仓库或 BI 工具吗？
不一定。平台提供 SQL 与 AI/BI，但是否替换现有仓库或 BI 取决于语义层、报表生态、性能、权限、迁移和用户习惯。试点应证明一个真实消费链，而不是先决定全面替换。
Unity Catalog 能自动解决所有合规问题吗？
不能。它提供权限、血缘、审计等治理能力，但组织仍要定义数据分类、合法用途、保留、所有者、审批和事件响应，并验证外部系统和未覆盖路径。
Databricks 适合做 RAG 和 Agent 吗？
可以作为数据、检索、模型/外部模型、评测和服务的组合平台，但应用可靠性仍取决于知识、权限、召回、主张支持、工具控制和人工接管。平台接通不等于答案可信。
如何判断试点成功？
至少与原流程比较质量、业务结果、延迟、总成本和风险，并证明身份、血缘、告警、失败恢复和退出可运行。“Notebook 成功执行”只是技术起点。
来源、适用范围与纠错记录
本文以 Databricks 官方文档和发布说明为主要事实来源，资料复核日期为 2026 年 7 月 18 日。功能、名称、Preview 状态、区域、云和费用会变化；正式选型应以目标账户当日文档、API、合同和真实负载测试为准。2026 年 5 月的产品发布说明显示界面分组和功能持续变化，因此本文不依赖固定菜单路径。
