数据治理 · 手机学习手册

一份把「治理体系 + 数据质量 + 九个治理词 + 合规 + 数据资产」整合在一起的单文件。

为手机屏排版:无宽表格、无 ASCII 图、短段落,可单手滑动。

不含:流程挖掘(见 01)、面试题库(见 04 / 05)。那两块偏"演练",不适合通勤读。


0. 怎么用

第一次(约 40 分钟):只看标题和加粗句,建立地图,不求记住。

第二次(约 30 分钟):精读第 3 章(数据质量)和第 4 章(九个词)。这两块决定面试生死。

面试前 10 分钟:只看第 9 章的自测清单。

判断自己学会没有:能对着第 4 章任意一个词,说出"它是什么、怎么做、我项目里对应哪一步"。


1. 先搞清楚岗位要什么

数据集团类岗位的任职资格里,有一段几乎逐字列出了九个词:

数据治理、数据资产、数据安全、数据标准、数据质量、元数据、主数据、数据血缘、数据目录。

这九个词就是入场券。另一条是「精通 SQL、熟悉数仓建模、熟悉 Hive/Spark/Flink」——那是门槛,最容易挂在上面。

三句话记住轻重:

还有一条常被忽略:这类岗位要的不只是"懂",而是"能对客户讲清、能写成方案、能交付"。所以表达能力和文档能力本身也是考核项。


2. 数据治理到底在管什么

治理和管理不是一回事

治理回答:谁有权决定、规则是什么、边界在哪。产出是制度、标准、组织、考核。

管理回答:具体怎么执行。产出是流程、代码、平台、报表。

一句话:没有决策权、没有责任人、没有制度,就不叫治理,只叫"管数据"。

DAMA 的原话是"对数据资产行使权力和控制"——关键词是权力,所以它必须落在组织上,不能只落在工具上。

五个落地抓手

组织:治理委员会、CDO、数据 Owner、数据 Steward。缺了,规则没人认领。

制度:管理办法、分级细则、质量考核。缺了,全靠人情推动,一走人就归零。

标准:命名规范、编码规则、指标口径。缺了,同一个"活跃用户"三个部门三种算法。

流程:需求评审、建模、上线、监控、问题闭环。缺了,治理变成事后擦屁股。

工具:元数据平台、质量平台、血缘、权限。缺了,靠 Excel 维护,规模一大就崩。

组织怎么搭

四层,从上到下:

  1. 治理委员会——拍板,定优先级,给资源。
  2. CDO / 数据管理部——统筹,出制度,做协调。
  3. 数据 Owner——业务方担任,对自己域的数据质量负责。这一层最关键,没有它治理必然空转。
  4. 数据 Steward——执行,写规则、跑检查、跟闭环。

怎么判断治理做得好不好

不看文档写了多少,看三件事:

三者齐备才算体系化。缺一个都还是"项目制救火"。

落地节奏:先战果,再体系

反直觉但真实:上来就建规范,没人执行。

正确顺序是:

  1. 摸清家底(有哪些核心数据、谁在用、谁负责)
  2. 找最痛的一个问题(通常是指标口径不一致)
  3. 用它做出一个能验证的结果
  4. 拿着结果去要资源,再补制度和组织

DCMM 是什么

国标 GB/T 36073,数据管理能力成熟度评估模型。

8 个能力域:数据战略、数据治理、数据架构、数据应用、数据安全、数据质量、数据标准、数据生存周期。

5 个成熟度等级:从初始级到优化级。

和 DAMA 的区别一句话:DAMA 是知识体系(怎么做),DCMM 是评估模型(做到什么水平)。 国企招标常要求 DCMM 等级,所以这个词必须能说清。


3. 数据质量(最重要的一章)

六个维度

完整性:该有的值有没有。典型缺陷:关键节点为空、字段未回写。判定:空值率、必填命中率。

唯一性:主键或业务键唯一吗。典型缺陷:重复推送、多条主数据。判定:重复率。

准确性:值和真实世界一致吗。典型缺陷:地址错、金额错。判定:与权威源比对或抽检——这是唯一无法靠单表规则判定的维度,所以实践中覆盖率最低。

一致性:跨表、跨系统、时序自洽吗。典型缺陷:签收早于发货、两系统金额不等。判定:约束校验(外键、时序、勾稽)。

及时性:数据够新吗。典型缺陷:T+1 的数据 T+3 才到。判定:延迟分布、超 SLA 占比。

有效性:格式和值域对吗。典型缺陷:日期解析不了、枚举越界。判定:格式校验、值域校验。

加分知识:DAMA 之外还有合理性和可访问性。

一条规则的七个要素

只说"我们有质量规则"没用,必须能说出一条规则长什么样:

  1. 检核对象——哪张表、哪个字段
  2. 判定条件——什么情况算违规
  3. 阈值——超过多少告警
  4. 严重度——高 / 中 / 低
  5. 治理动作——阻断入库、告警、打标、进人工队列
  6. 责任人——必须是业务方,不是数据团队
  7. 复检机制——多久重跑一次,看不看趋势

缺了第 6 和第 7 条,规则就是一次性的。

阈值为什么不能设 0

真实系统一定有噪声。阈值设 0 会导致规则永远红灯,团队直接忽略平台。

这叫告警疲劳,是质量平台最常见的死法。

问题排优先级

第一层:影响下游口径的——主键重复、孤儿外键。先修,因为下游所有数都错。

第二层:影响业务决策的——关键字段缺失、延迟超标。

第三层:影响观感的——格式不统一。最后修,可以用视图层兜。

闭环六步

发现 → 定级 → 分派 → 修复 → 验证 → 度量,然后回到发现。

闭环的判定标准:一个问题从被发现到关闭,有没有可追溯的链路(问题单 → 修复 → 复检通过)。

没有这条链路,规则写得再多也只是"知道有问题",不叫治理。

四个度量

规则通过率:看整体水位。但可以通过少写规则来刷高,不可信。

DQI:各维度加权得分,给管理层看的单一数字。

问题闭环率:已关闭 / 已发现。看治理是否真的在推进。

MTTR:平均修复时长。看组织效率。

结论:闭环率和 MTTR 才是治理有效性的证据,通过率只是水位。

一个真实例子(我本机跑出来的)

对象:电商订单履约事件日志,1,200 个案件、6,000 多个事件。埋了六类缺陷,写了六条规则:

最有价值的发现不是这些数字,而是:时序倒挂会让流程模型里凭空出现"签收 → 发货"这种逆向边。

也就是说——数据质量问题会伪装成业务问题。所以治理必须做在分析之前。


4. 岗位点名的九个词(速查卡)

每个词三行:是什么、怎么做、我项目里的例子。

数据治理

定规则、定责任、定边界。

做:建组织、出制度、定标准、跑考核。

例:给事件模型定字段口径,推动四个系统按同一口径输出。

数据资产

会计视角的数据:能满足确认条件才能进表。

做:确权 → 评估 → 成本归集 → 入表确认。

例:给关键字段做分级和成本口径梳理(前置动作)。

数据安全

分类分级 → 权限 → 脱敏 → 审计。

做:分级驱动权限、保留期、能否出域。

例:字段打 L1 到 L4 四级,L3 以上要求授权访问加脱敏。

数据标准

命名规范、编码规则、指标口径三件套。

做:先定口径字典,再开发;命名统一到 域_实体_属性。

例:统一案例 ID、活动名、时间戳的定义,避免一个动作四个名字。

数据质量

六个维度加规则体系。

做:规则即代码、跑批校验、质量报告、异常回流。

例:六条规则覆盖六维度,命中 377 条并可复现。

元数据

描述数据的数据,分三类。

做:技术元数据(结构、分区)、业务元数据(含义、口径、责任人)、管理元数据(权限、分级、保留期)。

例:给每个关键字段写一张卡片,含含义、来源、类型、级别、责任人、关联规则。

主数据

跨系统共享的核心实体:客户、产品、组织。

做:建 MDM,统一 ID,下发校验。

例:订单里的客户 ID 在主数据里查不到——这就是孤儿外键,做客户维度分析时会凭空少一批单。

数据血缘

数据从哪来、到哪去。

做:SQL 解析为主,人工补充。

例:能画出源表 → ETL → 明细层 → 汇总层 → 指标这条链。

数据目录

让人找得到数据、看得懂含义、找得到责任人。

做:元数据自动采集 + 业务描述人工补 + 责任人必须填。

例:字段卡片本质上就是目录的原料。


5. 数据标准与元数据(展开一点)

三个常见误区

误区一:标准就是命名规范。 其实命名最不重要,指标口径才是战场——"活跃用户"到底指 7 日登录还是 30 日有交易,不写进字典就永远吵。

误区二:元数据是技术的事。 业务元数据(含义、责任人)才是让它有用的部分,技术元数据只是骨架。

误区三:血缘可以全自动。 现实中 SQL 解析覆盖不全,通常要做到"核心链路全覆盖 + 长尾人工登记"。

血缘的两个真用途

影响分析:改这个字段之前,就知道哪些报表会崩。

根因定位:报表数不对,顺着血缘往上查是哪张表、哪个任务。

这两种用途是血缘值钱的唯一理由。画出来不用,等于没画。

血缘的三种采集方式

SQL 解析:静态扫描,覆盖广,但复杂 SQL 解析难。

运行时埋点:准,但要侵入代码。

人工登记:最准,最贵,一定腐化。

实践:以解析为主 + 人工补核心链路,覆盖率别承诺 100%。

元数据卡片模板

每个关键字段至少写七项:

  1. 业务含义
  2. 来源系统
  3. 数据类型
  4. 敏感级别
  5. 责任人
  6. 关联的质量规则
  7. 保留期

一句话讲法:分级不是贴标签,而是决定三件事——谁能访问、能留多久、能不能出域。


6. 合规

三法一规

网络安全法(2017-06-01):管网运行安全和网络数据,等级保护、日志留存至少六个月。

数据安全法(2021-09-01):管所有数据,分类分级、重要数据目录、风险评估、出境管制。

个人信息保护法(2021-11-01):管自然人信息,合法性基础、告知同意、最小必要、单独同意、跨境。

网络数据安全管理条例(2025-01-01 施行):把上面三部法落到操作层面。

一句话分清:网安法管网络,数安法管数据,个保法管人。

分类分级:两套体系别混

安全视角(数据安全法第二十一条):一般数据 / 重要数据 / 核心数据。

权益视角(个保法第二十八条):一般个人信息 / 敏感个人信息。

敏感个人信息法定范围:生物识别、宗教信仰、特定身份、医疗健康、金融账户、行踪轨迹,以及不满十四周岁未成年人的信息。

处理敏感个人信息要三件套:单独同意 + 特定目的和充分必要性 + 告知必要影响。

分级的目的是三件事

不是贴标签。分级必须驱动:

  1. 谁能访问(权限)
  2. 能留多久(保留期)
  3. 能不能出域(共享、交易、跨境)

三个都没驱动,就只是文档。

为什么"告知—同意"不是万能钥匙

个保法第十三条一共列了七项合法性基础,同意只是其中一项。

数据出境三条路径

  1. 安全评估(重要数据、关键信息基础设施运营者、达到数量门槛)
  2. 订立标准合同并备案
  3. 个人信息保护认证

2024 年 3 月的《促进和规范数据跨境流动规定》对部分场景做了豁免和放宽。答的时候说"有豁免情形"即可,别背具体阈值。

脱敏不等于免责

去标识化:处理后仍可能通过关联被重识别,仍受个保法约束。

匿名化:无法复原、无法识别,不再是个人信息——但技术上极难做到。

所以"我们脱敏了所以可以随便用"这句话是错的。


7. 数据资产

数据资产不是"数据等于钱"

会计口径下,只有符合确认条件的成本才能进表,不是给数据估值。

公共数据授权运营

依据:《公共数据资源授权运营实施规范(试行)》,发改数据规〔2025〕27 号,2025 年 1 月 8 日印发,2025 年 3 月 1 日施行,有效期 5 年。

定义(可以背):将县级以上地方政府、国家行业主管部门持有的公共数据资源,依法授权符合条件的运营机构进行治理、开发,并面向市场公平提供数据产品和技术服务。

三个角色:数据持有方(政府/行业主管部门)、实施机构(组织实施方案、选运营机构、签协议)、运营机构(依法获得授权的法人)。

四个阶段:方案编制 → 协议签订 → 运营实施 → 运营管理。

三种模式:整体授权、分领域授权、依场景授权。

几个容易答错的细节:

数据资产入表

依据:《企业数据资源相关会计处理暂行规定》,财政部财会〔2023〕11 号,2024 年 1 月 1 日起施行,采用未来适用法(不追溯)。

四步链条(业务口径):

合规确权 → 价值评估(经济利益论证)→ 成本归集 → 入表确认与披露

确认为什么:

两个最大的难点:

  1. 成本归集——财务和数据团队口径不通,费用化和资本化切分不清
  2. 经济利益论证——说不清谁付费、怎么流入

一句话:入表不是财务一个部门的事,前置条件是治理——确权要目录和血缘,成本归集要口径和分摊规则。

三权分置

"数据二十条"(2022 年 12 月)提出:数据资源持有权、数据加工使用权、数据产品经营权。

这三权是确权的理论依据,面试被问"数据归谁"就用这个答。

数据要素市场四个层次

制度层:数据二十条,产权、流通、分配、安全四大制度。

行动层:"数据要素×"三年行动计划(2024—2026),聚焦重点行业场景。

市场层:各地数据交易所、数据资产质押融资、数据信托。

技术层:隐私计算(联邦学习、安全多方计算、可信执行环境)、数据空间。

话术:不评价政策好坏,只讲结构——制度定产权、行动给场景、交易所做撮合、隐私计算解决"可用不可见"。


8. 十个高频问答(治理部分)

问:数据治理和管理的区别? 治理是权力和控制,管理是执行。治理定规则和责任人,管理按规则做事。

问:六个质量维度哪个最难自动化? 准确性。它需要权威源比对或人工抽检,单表规则判不了,所以覆盖率最低。

问:阈值该设多少? 不为 0。先跑一段时间看分布,取一个"能持续告警但不淹没团队"的值,再逐步收紧。

问:主键重复为什么比字段缺失严重? 缺失影响部分记录,重复让所有下游口径系统性失真——案件数、金额、转化率全错。

问:怎么排优先级? 按是否影响下游口径分三层:影响口径的、影响决策的、影响观感的。

问:什么是质量闭环? 有可追溯的问题单链路:发现、定级、分派、修复、验证、度量。光有规则不算。

问:分级分类的目的是什么? 驱动权限、保留期、能否出域三件事。不驱动就是文档。

问:入表是不是给数据估值? 不是。会计只为符合确认条件的成本入表,估值是交易和评估场景的事。

问:授权运营和入表什么关系? 授权运营解决"能不能用",入表解决"能不能进表",两者都依赖治理打底。

问:治理推不动怎么办? 找痛点(别从规范切入)、找同盟(业务方最痛)、要考核(塞进 KPI)。


9. 自测清单 + 三天表

自测清单

概念

质量

九个词

合规

资产

三天表

第一天(40 分钟):读第 1 到第 3 章。合上书,默写六维度和规则七要素。

第二天(40 分钟):读第 4 章,对着九个词各说 60 秒,说不出来就回去看。

第三天(30 分钟):读第 5 到第 7 章,然后做第 9 章自测清单,把打不了勾的记下来。

考前 10 分钟:只看第 8 章的十问答。


最后一句:这份手册里的概念,任何人都能背。

真正让你不一样的,是你能补一句——"这个在我项目里对应的是……"。

所以每背一个词,都往自己那五个项目上挂一次。

生成于 2026-11-11 · 单文件离线可读

↑