数据治理 · 手机学习手册
一份把「治理体系 + 数据质量 + 九个治理词 + 合规 + 数据资产」整合在一起的单文件。
为手机屏排版:无宽表格、无 ASCII 图、短段落,可单手滑动。
不含:流程挖掘(见 01)、面试题库(见 04 / 05)。那两块偏"演练",不适合通勤读。
0. 怎么用
第一次(约 40 分钟):只看标题和加粗句,建立地图,不求记住。
第二次(约 30 分钟):精读第 3 章(数据质量)和第 4 章(九个词)。这两块决定面试生死。
面试前 10 分钟:只看第 9 章的自测清单。
判断自己学会没有:能对着第 4 章任意一个词,说出"它是什么、怎么做、我项目里对应哪一步"。
1. 先搞清楚岗位要什么
数据集团类岗位的任职资格里,有一段几乎逐字列出了九个词:
数据治理、数据资产、数据安全、数据标准、数据质量、元数据、主数据、数据血缘、数据目录。
这九个词就是入场券。另一条是「精通 SQL、熟悉数仓建模、熟悉 Hive/Spark/Flink」——那是门槛,最容易挂在上面。
三句话记住轻重:
- 治理词汇是入场券:不会这些词,简历过不了初筛。
- SQL 和数仓是门槛:简历上写不出证据,技术面会卡住。
- 流程挖掘是差异化:能加分,但不是主线,别把时间全押在上面。
还有一条常被忽略:这类岗位要的不只是"懂",而是"能对客户讲清、能写成方案、能交付"。所以表达能力和文档能力本身也是考核项。
2. 数据治理到底在管什么
治理和管理不是一回事
治理回答:谁有权决定、规则是什么、边界在哪。产出是制度、标准、组织、考核。
管理回答:具体怎么执行。产出是流程、代码、平台、报表。
一句话:没有决策权、没有责任人、没有制度,就不叫治理,只叫"管数据"。
DAMA 的原话是"对数据资产行使权力和控制"——关键词是权力,所以它必须落在组织上,不能只落在工具上。
五个落地抓手
组织:治理委员会、CDO、数据 Owner、数据 Steward。缺了,规则没人认领。
制度:管理办法、分级细则、质量考核。缺了,全靠人情推动,一走人就归零。
标准:命名规范、编码规则、指标口径。缺了,同一个"活跃用户"三个部门三种算法。
流程:需求评审、建模、上线、监控、问题闭环。缺了,治理变成事后擦屁股。
工具:元数据平台、质量平台、血缘、权限。缺了,靠 Excel 维护,规模一大就崩。
组织怎么搭
四层,从上到下:
- 治理委员会——拍板,定优先级,给资源。
- CDO / 数据管理部——统筹,出制度,做协调。
- 数据 Owner——业务方担任,对自己域的数据质量负责。这一层最关键,没有它治理必然空转。
- 数据 Steward——执行,写规则、跑检查、跟闭环。
怎么判断治理做得好不好
不看文档写了多少,看三件事:
- 有没有责任人
- 有没有制度
- 有没有度量
三者齐备才算体系化。缺一个都还是"项目制救火"。
落地节奏:先战果,再体系
反直觉但真实:上来就建规范,没人执行。
正确顺序是:
- 摸清家底(有哪些核心数据、谁在用、谁负责)
- 找最痛的一个问题(通常是指标口径不一致)
- 用它做出一个能验证的结果
- 拿着结果去要资源,再补制度和组织
DCMM 是什么
国标 GB/T 36073,数据管理能力成熟度评估模型。
8 个能力域:数据战略、数据治理、数据架构、数据应用、数据安全、数据质量、数据标准、数据生存周期。
5 个成熟度等级:从初始级到优化级。
和 DAMA 的区别一句话:DAMA 是知识体系(怎么做),DCMM 是评估模型(做到什么水平)。 国企招标常要求 DCMM 等级,所以这个词必须能说清。
3. 数据质量(最重要的一章)
六个维度
完整性:该有的值有没有。典型缺陷:关键节点为空、字段未回写。判定:空值率、必填命中率。
唯一性:主键或业务键唯一吗。典型缺陷:重复推送、多条主数据。判定:重复率。
准确性:值和真实世界一致吗。典型缺陷:地址错、金额错。判定:与权威源比对或抽检——这是唯一无法靠单表规则判定的维度,所以实践中覆盖率最低。
一致性:跨表、跨系统、时序自洽吗。典型缺陷:签收早于发货、两系统金额不等。判定:约束校验(外键、时序、勾稽)。
及时性:数据够新吗。典型缺陷:T+1 的数据 T+3 才到。判定:延迟分布、超 SLA 占比。
有效性:格式和值域对吗。典型缺陷:日期解析不了、枚举越界。判定:格式校验、值域校验。
加分知识:DAMA 之外还有合理性和可访问性。
一条规则的七个要素
只说"我们有质量规则"没用,必须能说出一条规则长什么样:
- 检核对象——哪张表、哪个字段
- 判定条件——什么情况算违规
- 阈值——超过多少告警
- 严重度——高 / 中 / 低
- 治理动作——阻断入库、告警、打标、进人工队列
- 责任人——必须是业务方,不是数据团队
- 复检机制——多久重跑一次,看不看趋势
缺了第 6 和第 7 条,规则就是一次性的。
阈值为什么不能设 0
真实系统一定有噪声。阈值设 0 会导致规则永远红灯,团队直接忽略平台。
这叫告警疲劳,是质量平台最常见的死法。
问题排优先级
第一层:影响下游口径的——主键重复、孤儿外键。先修,因为下游所有数都错。
第二层:影响业务决策的——关键字段缺失、延迟超标。
第三层:影响观感的——格式不统一。最后修,可以用视图层兜。
闭环六步
发现 → 定级 → 分派 → 修复 → 验证 → 度量,然后回到发现。
闭环的判定标准:一个问题从被发现到关闭,有没有可追溯的链路(问题单 → 修复 → 复检通过)。
没有这条链路,规则写得再多也只是"知道有问题",不叫治理。
四个度量
规则通过率:看整体水位。但可以通过少写规则来刷高,不可信。
DQI:各维度加权得分,给管理层看的单一数字。
问题闭环率:已关闭 / 已发现。看治理是否真的在推进。
MTTR:平均修复时长。看组织效率。
结论:闭环率和 MTTR 才是治理有效性的证据,通过率只是水位。
一个真实例子(我本机跑出来的)
对象:电商订单履约事件日志,1,200 个案件、6,000 多个事件。埋了六类缺陷,写了六条规则:
- 完整性:命中 116 条(未取消订单缺拣货时间、已发货缺签收)
- 唯一性:命中 36 条(订单号重复,重复推送)
- 参照完整性:命中 48 条(订单指向不存在的客户)
- 一致性:命中 56 条(时序倒挂,拣货早于下单)
- 有效性:命中 36 条(未来日期、无法解析)
- 及时性:命中 85 条(超 SLA 7 天)
最有价值的发现不是这些数字,而是:时序倒挂会让流程模型里凭空出现"签收 → 发货"这种逆向边。
也就是说——数据质量问题会伪装成业务问题。所以治理必须做在分析之前。
4. 岗位点名的九个词(速查卡)
每个词三行:是什么、怎么做、我项目里的例子。
数据治理
定规则、定责任、定边界。
做:建组织、出制度、定标准、跑考核。
例:给事件模型定字段口径,推动四个系统按同一口径输出。
数据资产
会计视角的数据:能满足确认条件才能进表。
做:确权 → 评估 → 成本归集 → 入表确认。
例:给关键字段做分级和成本口径梳理(前置动作)。
数据安全
分类分级 → 权限 → 脱敏 → 审计。
做:分级驱动权限、保留期、能否出域。
例:字段打 L1 到 L4 四级,L3 以上要求授权访问加脱敏。
数据标准
命名规范、编码规则、指标口径三件套。
做:先定口径字典,再开发;命名统一到 域_实体_属性。
例:统一案例 ID、活动名、时间戳的定义,避免一个动作四个名字。
数据质量
六个维度加规则体系。
做:规则即代码、跑批校验、质量报告、异常回流。
例:六条规则覆盖六维度,命中 377 条并可复现。
元数据
描述数据的数据,分三类。
做:技术元数据(结构、分区)、业务元数据(含义、口径、责任人)、管理元数据(权限、分级、保留期)。
例:给每个关键字段写一张卡片,含含义、来源、类型、级别、责任人、关联规则。
主数据
跨系统共享的核心实体:客户、产品、组织。
做:建 MDM,统一 ID,下发校验。
例:订单里的客户 ID 在主数据里查不到——这就是孤儿外键,做客户维度分析时会凭空少一批单。
数据血缘
数据从哪来、到哪去。
做:SQL 解析为主,人工补充。
例:能画出源表 → ETL → 明细层 → 汇总层 → 指标这条链。
数据目录
让人找得到数据、看得懂含义、找得到责任人。
做:元数据自动采集 + 业务描述人工补 + 责任人必须填。
例:字段卡片本质上就是目录的原料。
5. 数据标准与元数据(展开一点)
三个常见误区
误区一:标准就是命名规范。 其实命名最不重要,指标口径才是战场——"活跃用户"到底指 7 日登录还是 30 日有交易,不写进字典就永远吵。
误区二:元数据是技术的事。 业务元数据(含义、责任人)才是让它有用的部分,技术元数据只是骨架。
误区三:血缘可以全自动。 现实中 SQL 解析覆盖不全,通常要做到"核心链路全覆盖 + 长尾人工登记"。
血缘的两个真用途
影响分析:改这个字段之前,就知道哪些报表会崩。
根因定位:报表数不对,顺着血缘往上查是哪张表、哪个任务。
这两种用途是血缘值钱的唯一理由。画出来不用,等于没画。
血缘的三种采集方式
SQL 解析:静态扫描,覆盖广,但复杂 SQL 解析难。
运行时埋点:准,但要侵入代码。
人工登记:最准,最贵,一定腐化。
实践:以解析为主 + 人工补核心链路,覆盖率别承诺 100%。
元数据卡片模板
每个关键字段至少写七项:
- 业务含义
- 来源系统
- 数据类型
- 敏感级别
- 责任人
- 关联的质量规则
- 保留期
一句话讲法:分级不是贴标签,而是决定三件事——谁能访问、能留多久、能不能出域。
6. 合规
三法一规
网络安全法(2017-06-01):管网运行安全和网络数据,等级保护、日志留存至少六个月。
数据安全法(2021-09-01):管所有数据,分类分级、重要数据目录、风险评估、出境管制。
个人信息保护法(2021-11-01):管自然人信息,合法性基础、告知同意、最小必要、单独同意、跨境。
网络数据安全管理条例(2025-01-01 施行):把上面三部法落到操作层面。
一句话分清:网安法管网络,数安法管数据,个保法管人。
分类分级:两套体系别混
安全视角(数据安全法第二十一条):一般数据 / 重要数据 / 核心数据。
权益视角(个保法第二十八条):一般个人信息 / 敏感个人信息。
敏感个人信息法定范围:生物识别、宗教信仰、特定身份、医疗健康、金融账户、行踪轨迹,以及不满十四周岁未成年人的信息。
处理敏感个人信息要三件套:单独同意 + 特定目的和充分必要性 + 告知必要影响。
分级的目的是三件事
不是贴标签。分级必须驱动:
- 谁能访问(权限)
- 能留多久(保留期)
- 能不能出域(共享、交易、跨境)
三个都没驱动,就只是文档。
为什么"告知—同意"不是万能钥匙
- 同意必须自愿、明确,捆绑同意和默认勾选无效
- 同意可以撤回,撤回后要继续处理必须另找合法性基础
- 员工、公共管理场景下,同意往往不自由,要靠"履行合同所必需"或"法定义务"
个保法第十三条一共列了七项合法性基础,同意只是其中一项。
数据出境三条路径
- 安全评估(重要数据、关键信息基础设施运营者、达到数量门槛)
- 订立标准合同并备案
- 个人信息保护认证
2024 年 3 月的《促进和规范数据跨境流动规定》对部分场景做了豁免和放宽。答的时候说"有豁免情形"即可,别背具体阈值。
脱敏不等于免责
去标识化:处理后仍可能通过关联被重识别,仍受个保法约束。
匿名化:无法复原、无法识别,不再是个人信息——但技术上极难做到。
所以"我们脱敏了所以可以随便用"这句话是错的。
7. 数据资产
数据资产不是"数据等于钱"
会计口径下,只有符合确认条件的成本才能进表,不是给数据估值。
公共数据授权运营
依据:《公共数据资源授权运营实施规范(试行)》,发改数据规〔2025〕27 号,2025 年 1 月 8 日印发,2025 年 3 月 1 日施行,有效期 5 年。
定义(可以背):将县级以上地方政府、国家行业主管部门持有的公共数据资源,依法授权符合条件的运营机构进行治理、开发,并面向市场公平提供数据产品和技术服务。
三个角色:数据持有方(政府/行业主管部门)、实施机构(组织实施方案、选运营机构、签协议)、运营机构(依法获得授权的法人)。
四个阶段:方案编制 → 协议签订 → 运营实施 → 运营管理。
三种模式:整体授权、分领域授权、依场景授权。
几个容易答错的细节:
- 期限原则上不超过 5 年
- 运营机构不得直接或间接参与已交付产品的再开发
- 五大原则:依法合规、公平公正、公益优先、合理收益、安全可控
- 通过政务数据共享拿到的其他部门数据,用于授权运营要征得提供单位同意
数据资产入表
依据:《企业数据资源相关会计处理暂行规定》,财政部财会〔2023〕11 号,2024 年 1 月 1 日起施行,采用未来适用法(不追溯)。
四步链条(业务口径):
合规确权 → 价值评估(经济利益论证)→ 成本归集 → 入表确认与披露
确认为什么:
- 内部使用 → 无形资产,按寿命直线摊销;无法确定寿命的不摊销,每年做减值测试
- 以出售为目的的数据产品 → 存货
两个最大的难点:
- 成本归集——财务和数据团队口径不通,费用化和资本化切分不清
- 经济利益论证——说不清谁付费、怎么流入
一句话:入表不是财务一个部门的事,前置条件是治理——确权要目录和血缘,成本归集要口径和分摊规则。
三权分置
"数据二十条"(2022 年 12 月)提出:数据资源持有权、数据加工使用权、数据产品经营权。
这三权是确权的理论依据,面试被问"数据归谁"就用这个答。
数据要素市场四个层次
制度层:数据二十条,产权、流通、分配、安全四大制度。
行动层:"数据要素×"三年行动计划(2024—2026),聚焦重点行业场景。
市场层:各地数据交易所、数据资产质押融资、数据信托。
技术层:隐私计算(联邦学习、安全多方计算、可信执行环境)、数据空间。
话术:不评价政策好坏,只讲结构——制度定产权、行动给场景、交易所做撮合、隐私计算解决"可用不可见"。
8. 十个高频问答(治理部分)
问:数据治理和管理的区别? 治理是权力和控制,管理是执行。治理定规则和责任人,管理按规则做事。
问:六个质量维度哪个最难自动化? 准确性。它需要权威源比对或人工抽检,单表规则判不了,所以覆盖率最低。
问:阈值该设多少? 不为 0。先跑一段时间看分布,取一个"能持续告警但不淹没团队"的值,再逐步收紧。
问:主键重复为什么比字段缺失严重? 缺失影响部分记录,重复让所有下游口径系统性失真——案件数、金额、转化率全错。
问:怎么排优先级? 按是否影响下游口径分三层:影响口径的、影响决策的、影响观感的。
问:什么是质量闭环? 有可追溯的问题单链路:发现、定级、分派、修复、验证、度量。光有规则不算。
问:分级分类的目的是什么? 驱动权限、保留期、能否出域三件事。不驱动就是文档。
问:入表是不是给数据估值? 不是。会计只为符合确认条件的成本入表,估值是交易和评估场景的事。
问:授权运营和入表什么关系? 授权运营解决"能不能用",入表解决"能不能进表",两者都依赖治理打底。
问:治理推不动怎么办? 找痛点(别从规范切入)、找同盟(业务方最痛)、要考核(塞进 KPI)。
9. 自测清单 + 三天表
自测清单
概念
- 能一句话说清治理和管理的区别
- 能报出 DMBOK2 的 11 个领域
- 能说清 DCMM 是什么,和 DAMA 差在哪
质量
- 六个维度各配一个典型缺陷
- 一条规则要包含哪七个要素
- 阈值为什么不能设 0
- 闭环六步是什么
- 四个度量里哪两个最能证明治理有效
九个词
- 每个词都能给出"是什么 + 怎么做 + 我的例子"
合规
- 三法一规各管什么
- 分类分级两套体系别混
- 敏感个人信息包含哪些
- 为什么同意不是万能钥匙
- 出境三条路径
资产
- 授权运营四阶段、三模式、期限上限
- 入表四步、确认为无形资产还是存货
- 入表的两个难点
三天表
第一天(40 分钟):读第 1 到第 3 章。合上书,默写六维度和规则七要素。
第二天(40 分钟):读第 4 章,对着九个词各说 60 秒,说不出来就回去看。
第三天(30 分钟):读第 5 到第 7 章,然后做第 9 章自测清单,把打不了勾的记下来。
考前 10 分钟:只看第 8 章的十问答。
最后一句:这份手册里的概念,任何人都能背。
真正让你不一样的,是你能补一句——"这个在我项目里对应的是……"。
所以每背一个词,都往自己那五个项目上挂一次。
生成于 2026-11-11 · 单文件离线可读