数据中台元数据规范_免费下载.pdf

《数据中台元数据规范_免费下载.pdf》由会员分享，可在线阅读，更多相关《数据中台元数据规范_免费下载.pdf（15页珍藏版）》请在悟道方案网上搜索。

1、ICS 35.240.01 CCS L 67 团体 标准 T/ZAII 035 2022 数据中台 元数据规范 Data middle platform Metadata specification 2022 - 06 - 10 发布 2022 - 06 - 10 实施 浙 江 省 物 联 网 产 业 协 会 发 布 T/ZAII 035 2022 I 目 次 前 言 . II 1 范围 . 1 2 规范性引用文件 . 1 3 术语和定义 . 1 4 缩略语 . 2 5 元模型 . 2 6 元数据描述 . 2 概述 . 2 描述约定 . 2 技术属性 . 3 业务属性 . 4 操作属性 . 6

2、 7 元数据扩展 . 7 概述 . 7 扩展类型 . 7 扩展原则 . 7 扩展步骤 . 7 8 元数据校验 . 8 概述 . 8 校验内容 . 8 校验步骤 . 9 9 元数据表示 . 9 附录 A （资料性） 数据中台元模型示例 . 10 参考文 献 . 11 T/ZAII 035 2022 II 前 言 本文件按照 GB/T 1.1 2020标准化工作导则 第 1部分：标准化文件的结构和起草规则的规定起草。 请注意本文件中的某些内容可能涉及专利。本标准的发布机构不承担识别专利的责任。 本文件由浙江省物联网产业协会提出并归口。 本文件起草单位： 杭州玳数科技有限公司、杭州云掣科技有限公司、

3、杭州易知微科技有限公司、杭州云聚数智科技有限公司、浙江省标准化研究院、杭州云象网络技术有限公司、 浙江省物联网产业协会 、吉利汽车集团有限公司、温州大学、浙江蓝卓工业互联网信息技术有限公司、浙江安厨大数据技术有限公司、杭州中威电子股份有限公司、杭州天舰信息技术股份有限公司 。 本文件主要起草人： 陈吉平、徐进挺、费翔、宁海元、阚海明、林丹丹、黄昊哲、徐杰、朱旭丽、于俊、黄步添、刘振广、郑金伟、张笑钦、黄辉、邵黎勋、董天祥、 曹玉龙、李鹏 、纪卫平、罗联上、聂世元、叶颖哲 。 T/ZAII 035 2022 1 数据中台 元数据规范 1 范围 本文件规定了数据中台元数据的元模型、描述方法、扩展要

4、求、校验及表 示 。 本文件适用于数据中台的数据集编目、建库，以及数据交换、数据集成等。 2 规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。 GB/T 18391.1-2009 信息技术 元数据注册系统（ MDR） 第 1部分：框架 GB/T 18793 信息技术 可扩展置标语言（ XML） 1.0 GB/T 36350-2018 信息技术 学习、教育和培训 数字化学习资源语义描述 3 术 语和定义 下列术语和定义适用于本文件。 数据中台 d

5、ata middle platform 一套通过产品技术、解决方案、规范标准、团队组织的整合，实现数据汇聚、治理、运营的架构。 元数据 metadata 定义和描述其他数据的数据。 来源： GB/T 18391.1-2009,3.2.16 数据项 data item 用于描述元数据的 基本数据单元 来源： GB/T 36350-2018,2.5 元模型 metamodel 规定一个或多个其他数据模型的数据模型。 来源： GB/T 18391.1-2009,3.2.20 属性 attribute 一个对象或实体的特征。 来源： GB/T 18391.1-2009,3.1.1 技术属性 techn

6、ical attribute 从源库同步的技术类元数据。 业务属性 business attribute 通过平台进行维护的业务类元数据。 操作属性 operational attribute 描述处理和访问数据的细节的元数据。 T/ZAII 035 2022 2 4 缩略语 下列缩略语适用于本文件。 DDL 数据库模式定义语言 （ Data Definition Language） XML 可扩展标记语言（ Extensible Markup Language） 5 元模型 数据中台元模型 由 技术属性、业务属性、操作属性 构成 ，可根据需求增加新的属性 ，模型示例图如图 A.1所示。 各属

7、性应包含以下 数据项： a) 技术属性：表名、所属数据库、创建时间、表结构信息、主键、分区、外键；b) 业务属性：负责单位、负责部门、负责人、表中文名、主题域、数仓层级、业务域；c) 操作属性：创建日期、变更频率、 DDL 最后变更时间、储存位置、储存大小、最近同步时间。 6 元数据描述 概述 本文件采用摘要表示的方式定义和描述元数据，摘要内容包括中文名称、定义、英文名称、数据类型、值域、缩写名、约束 /条件、最大出现次数和备注 等 。 描述约定 6.2.1 中文名称 元数据的中文名称，用第 6.3中各条的标题来表达。 6.2.2 英文名称 元数据的英文名称。所有组成词汇的首字母应大写，且 用

8、空格连接 。 6.2.3 缩写名 元数据的缩写名。宜采用 英文 名称的首字母大写连写。 6.2.4 定义 元数据的基本内容 、 概念和说明。 6.2.5 数据类型 元数据的数据类型，如 ：字符串、日期型、时间型、布尔型、整型、浮点型等。 6.2.6 值域 元数据可取值的范围。值域中的日期型取值统一为北京时间。 6.2.7 约束 /条件 该 元数据 是否可选。该说明符分别为： a) M：必选，表明该 元数据 应选；b) C：一定条件下必选，当满足约束条件中所定义的条件时必选，条件必选用于以下三种可能性之一：1) 当在多个选项中进行选择时，至少有一个选项为必选，且应使用；2) 当一个 元数据 已经

9、使用时，选用另一个 元数据 ；3) 当一个 元数据 已经选择了一个特定值时，选用另一个 元数据 。c) O：可选，根据实际应用可选择也可不选的 元数据 。已经定义的可选 元数据 ，可指导部门元数据标准制定人员充分说明其信息。T/ZAII 035 2022 3 6.2.8 最大出现次数 说明 该 元数据 可以出现的最大次数，只出现一次的用“ 1”表示，多次重复出现的用“ N”表示，允许不为 1的固定出现次数用相应的数字表示，例如“ 2”“ 3”“ 4”等。 6.2.9 备注 与 元数据 有关的注释。 技术属性 6.3.1 表名 英文名称： Table Name 缩写词： TN 定义：数据库或者数

10、据源的数据表的名称 数据类型：字符串 值域：自由文本 可选 /必选： M 最大出现次数： 1 备注： 6.3.2 所属数据库 英文名称： Data Base 缩写词： DB 定义：元数据所描述的数据表所在的原始数据库名称 数据类型：字符串 值域：自由文本 可选 /必选： M 最大出现次数： 1 备注： 6.3.3 创建时间 英文名称： Create Time 缩写词： CT 定义：元数据所描述的数据表的创建时间 数据类型：日期型 值域： 自由文本 可选 /必选： M 最大出现次数： 1 备注： 按照“ yyyy-mm-dd hh:mm:ss”格式表示 。 6.3.4 表结构信息 英文名称： T

11、able Structure 缩写词： TS 定义：元数据所描述的数据表的表结构信息，包括：字段名、字段中文名、数据类型 、 长度 、 精度 、允许空 、 默认值 、 字段说明 数据类型：字符串 值域：自由文本 可选 /必选： M 最大出现次数： 1 备注： T/ZAII 035 2022 4 6.3.5 主键 英文名称： Primary Key 缩写词： PK 定义：数据表的主键，能够唯一标识一行数据的主关键字段名称 数据类型：字符串 值域：自由文本 可选 /必选： M 最大出现次数： 1 备注：多个主键用 半角逗号 “ ,”分割。 6.3.6 分区 英文名称： Partition Key

12、缩写词： PTK 定义：数据表的分区，用于将数据按照不同的分区维度进行切分管理 数据类型：字符串 值域：自由文本 可选 /必选： M 最大出现次数： 1 备注：多个分区用 半角逗号 “ ,”分割。 6.3.7 外键 英文名称： Foreign Key 缩写词： FK 定义：数据表的外键，用于指向另一张数据表的主键，帮助两张表做数据关联 数据类型：字符串 值域：自由文本 可选 /必选： M 最大出现次数： 1 备注：多个外键用 半角逗号 “ ,”分割。 业务属性 6.4.1 负责单位 英文名称： Responsible Company 缩写词： RC 定义：数据表的责任单位 数据类型：字符串 值

13、域：自由文本 可选 /必选： M 最大出现次数： 1 备注： 6.4.2 负责部门 英文名称： Responsible Department 缩写词： RD 定义：数据表的责任部门 数据类型：字符串 值域：自由文本 可选 /必选： M 最大出现次数： 1 T/ZAII 035 2022 5 备注： 6.4.3 负责人 英文名称： Table Manager 缩写词： TM 定义：数据表的责任人，责任人一般为该数据表的创建者 数据类型： 字符串 值域：自由文本 可选 /必选： M 最大出现次数： 1 备注：采用英文描述。 6.4.4 表中文名 英文名称： Table Name Cn 缩写词： T

14、NC 定义：数据表的中文描述名称 数据类型：字符串 值域：自由文本 可选 /必选： M 最大出现次数： 1 备注：采用中文描述。 6.4.5 主题域 英文名称： Subject Domain 缩写词： SD 定义：数据表所属的业务主题域，如销售主题域、物流主题域等 数据类型： 字符串 值域：自由文本 可选 /必选： M 最大出现次数： 1 备注：采用英文描述。 6.4.6 数仓层级 英文名称： Data Warehouse Layer 缩写词： DWL 定义：数据表在数据的分层架构中所属的层级 数据类型： 字符串 值域 ：自由文本 可选 /必选： M 最大出现次数： 1 备注：采用英文描述，一

15、般为 ODS、 DIM、 DWD、 DWS、 ADS。 6.4.7 业务域 英文名称： Business Domain 缩写词： BD 定义：与业务流程相关的数据分域 数据类型：字符串 值域：自由文本 可选 /必选： M 最大出现次数： 1 T/ZAII 035 2022 6 备注： 操作属性 6.5.1 创建日期 英文名称： Metadata Create Date 缩写词： MCD 定义：元数据的创建日期。 数据类型：日期型 值域：自由文本 可选 /必选： M 最大出现次数： 1 备注： 按照“ yyyy-mm-dd”格式表示 。 6.5.2 变更频率 英文名称 ： Change Freq

16、uency 缩写词： CF 定义：数据表的数据更新频率，变更频率决定了表的数据时效性 数据类型：字符串 值域： 自由文本 可选 /必选： M 最大出现次数： 1 备注：一般以秒、分钟、小时、天、周、月为单位 。 6.5.3 DDL 最后变更时间 英文名称： DDL Update Time 缩写词： DUT 定义：元数据所描述的数据表的 DDL最后更新时间 数据类型：日期型 值域： 自由文本 可选 /必选： M 最大出现次数： 1 备注： 按照“ yyyy-mm-dd hh:mm:ss”格式表示 。 6.5.4 存储位置 英文名称： Storage Location 缩写词： SL 定义：元数据

17、所描述的数据表的 访问 地址 数据类型：字符串 值域：自由文本 可选 /必选： 可选 最大出现次数： 1 备注：路径用 半角正斜杠符号 /分割 。 6.5.5 存储大小 英文名称： Storage Size 缩写词： SZ 定义：元数据所描述的数据表的物理存储空间大小 数据类型： 字符串 值域：自由文本 T/ZAII 035 2022 7 可选 /必选： M 最大出现次数： 1 备注：单位为 KB、 MB、 GB、 TB等。 6.5.6 最近同步时间 英文名称： Recent Sync Time 缩写词： RST 定义：元数据所描述的数据表的最近一次执行元数据同步的时间 数据类型：日期型 值域

18、： 自由文本 可选 /必选： 可选 最大出现次数： 1 备注： 按照“ yyyy-mm-dd hh:mm:ss”格式表示 。 7 元数据扩展 概述 7.1.1 当本文件规定的元数据不能满足数据实际使用时，可根据实际需求对本文件规定的元数据进行扩展。 7.1.2 元数据的扩展可在元数据的获取过程中，通过对内容进行修改或新增等方式实现。 扩展类型 数据中台元数据允许进行以下类型的扩展： a) 属性扩展 ： 增加 元数据的属性 ；b) 内容扩展 ： 对 描述 元数据 的 摘要 内容进行 修改 、 新增；c) 增加新的 数据项 。扩展原则 元数据的扩展应遵循以下基本原则： a) 技术属性只 作内容扩展

19、 ，不 增加新的 数据项 ；b) 业务属性可作 内容扩展 ，亦 可增加新的 数据项 ；c) 操作属性可作 内容扩展 ，亦可 增加新的 数据项 ；d) 新增的 元数据 属性 、摘要内容及 数据项 不应与本文件定义的命名、定义相冲突 。扩展步骤 7.4.1 对数据中台元数据进行扩展时，主要有：分析现有元数据、定义元数据属性代码表、扩展新元数据属性代码表、定义新元数据属性、扩展新元数据属性、元数据扩展验证、完成元数据扩展文档等 7个步骤。 7.4.2 元数据扩展流程如图 1 所示。 T/ZAII 035 2022 8 图 1 元数据扩展流程 图 8 元数据校验 概述 8.1.1 元数据校验 包括一致

20、性 校验 和 完整性 校验 。 8.1.2 元数据校验 的 启动类型包括 手动 触发式 校验 和 周期性 自动 校验。 8.1.2.1 手动 触发式 校验一般指 元 数据管理员 根据需求 触发元数据校验 流程 。 8.1.2.2 周期 性 自动 校验 一般 指按分钟、小时、天、周、月等周期 启动 自动校验 流程 。 校验内容 8.2.1 一致性校验 校验获取到的元数据的信息是否跟源数据库的信息保持一致。通常包括： a) 数据是否一致； T/ZAII 035 2022 9 b) 数据类型是否一致；c) 数据描述是否一致。8.2.2 完整性校验 校验元数据的信息是否完整，不存在数据缺失。通常包括：

21、 a) 属性是够齐全；b) 必填信息是否齐全；c) 数据是否完整。校验步骤 8.3.1 对数据中台元数据进行校验时，主要有：启动元数据校验、元数据一致性校验、元数据完整性校验、校验问题定位修改、完成元数据校验等 5 个步骤。 8.3.2 元数据校验流程如图 2 所示。 图 2 元数据校验流程 图 9 元数据表示 数据中台元数据以可扩展置标语言（ XML）格式进行表示，以 DTD或 XML Schema对 XML文档的结构进行定义，可扩展置标语言（ XML）应遵照 GB/T 18793执行。 T/ZAII 035 2022 10 A A 附录 A（资料性） 数据中台元模型示例 数据中台元模型示例如图 A.1所示。 图 A.1 数据中台元模型 数据中台元数据 表名 所属 数据库 创建 时间 表 结构信息 主键 分区 外键 负责单位 负责部门 负责人 表中文名 主题域 数仓 层级 业务 域 创建日期 变更频率 DDL 最后 变更时间 储存 位置 储存 大小 最近同步 时间 技术 属性 业务属性 操作属性 T/ZAII 035 2022 11 参考文 献 1 项阳 .数据中台元年 J.中国教育网络 ,2020,0（ 1） :25-26.2 DAMA国际 .DAMA数据管理知识体系指南 M.机械工业出版社 ,2020.