十五五企业数字化转型L1-L5数据架构设计方法论及案例（52页 PPT）

微信扫码，打开到小程序

企业数字化转型 数据架构设计方法论 2 目录 1. 数据架构是什么 2. 数据架构为客户带来的价值与收益 3. 数据架构规划方法 4. 案例分析 3 什么是数据架构，如何理解 数据架构？ 4 数据架构是什么 • 国内某大厂：数据架构是企业架构的一部分，企业级数据架构是以结构化的方式描述在业务运作和管理 决策中所需要的各类数据及其关系的一套整体组件规范。包括数据资产目录、数据标准、企业级数据模 型和数据分布四个组件。 • DAMA ：定义了与组织战略协调的管理数据资产的蓝图，指导基于组织的战略目标，指定符合战略需 求的数据架构。 • IBM ：数据架构是用来描述企业数据源在哪里，哪些数据是可信的，这些数据是如何存储的，以及数 据在不同系统中是如何使用和集成的一整套组件。 5 数据 / 信息架构是企业架构 (EA)4 个子集中的重要组成部分 做正确的事情 正确的做事 业务架构（ BA ） 数据架构（ DA ） 应用架构（ AA ） 技术架构（ TA ） 输入 支撑 实现 业务战略 商业设计 企业架构 变革项目 IT 产品 • 业务运作模式 • 价值流 / 业务场景 • 业务能力 • 业务服务 • 数据服务 • IT 服务 • IT 产品 • IT 平台 BA 是业务的结构化表达，描述组织如何运用 业务的关键要素来实现其战略意图和目标 IA 是以结构化的方式描述在业务运作和管 理决策中所需要的各类信息及其关系的一 套整体组件规范 AA 描述了各种用于支持业务架构并 对数据架构所定义的各种数据进行处 理的应用功能 TA 代表了各种可以从市场或组织内部获得的软 件和硬件组件 6 数据架构与其他架构之间的关系 技术架构 应用架构 IT 产品 IT 子产品 应用模块 N 1 N 1 业务架构 业务能力 业务活动 1 N 业务能力框架 L1 业务能力框架 L2 1 N 1 N IT 技术架构 识别功能需求 提出技术诉求 数据架构 业务域 主题域 业务对象 1 N 1 N 价值流 识别功能需求 7 数据架构包括四个组件 数据模型 数据资产目录 数据分布 1 3 2 4 数据 / 信息架 构 数据标准 • 通过分层架构表达对数据 的分类和定义 • 厘清数据资产 • 是建立数据模型的输入 … … • 通过 E-R 建模实现对数 据及其关系的描述 • 指导 IT 开发，是应用系 统实现的基础 • 是业务定义的规范 • 统一语言，消除歧义 • 为数据资产梳理提供标准 的业务含义和规则 业务术语 数据标 准 数据标准 • 是数据在业务流程和 IT 系统 上流动的全景视图 • 识别数据的“来龙去脉” • 是定位数据问题的导航 业务视角 IT 视角 概念数据模型 L1 L2 L3 L4 L5 主题域 业务对象 属性 业务域 逻辑数据实体 数据分层结构 数据标准 业务术语 数据标准 对数据资产目录 中业务对象在企 业内的统一定义 对数据资产目录中属性 描述企业内需共同遵守 的数据含义和业务规则 数据分布 数据源 信息链 表达数据在业 务流的流转 数据流 表达数据在 IT 系统的流转 定义数据产生 的源头 8 数据架构组件一：数据资产目录 业务域是公司顶层数据分类，通过数 据视角体现公司最高层面关注的业务 领域。 主题域是互不重叠数据的高层面的分 类，用于管理其下一级的业务对象。 业务对象是业务领域重要的人、事、 物，承载了业务运作和管理涉及的重 要数据。 逻辑数据实体是描述业务对象某种业 务特征的属性集合 属性是描述所属业务对象的性质和特征 数据分层结构及样例 定义 • 与业务流程架构 L1 保持 一致 • 数据管理基本单元 • 统一业务语言 • 业务和 IT 的关键连接 点 • 明确标准与规则，确保数据 的全流程拉通 • 划分数据责任人的管辖范 围 • 指导 IT 系统开发与系统集 成 • 遵从逻辑数据建模规则 说明 销售领域 机会点 客户合同 机会点 基本信息 投标书 客户合同 基本信息 报价单 UPL 报价单头 报价单行 报价单号 金额 Part 编码 数量 L1 业务域 L2 主题域 L3 业务对象 L4 逻辑数据实体 L5 属性 数据范围 数据特征 （细化设 计） 数据管理 基本单元 • 数据资产目录是企业中有价值、可用于分析和应用的数据进行提炼形成的目录体系，通过数据资产目录可以从业务层面 描述企业所拥有的数据资产，并降低理解系统数据的门槛。 9 数据架构组件一：数据资产目录样例与预期效果 1. 厘清和盘点集团数据资产，划分数据主题域，建立集团数据资产的目录分层视图。 2. 通过统一目录形成数据资产高阶全景视图，呈现集团数据资产概况，实现全域数据资源“家底可见”。 3. 通过端到端运作的数据地图，明确数据责任人管辖的数据范围，确保数据得到有效管理与应用。 10 数据架构组件二：数据标准 • 数据标准（ Business data standard ，业务数据标准） 用于描述公司层面需共同遵守的属性层数据含义和业务规则。 其描述了公司层面对某个数据的共同理解，这些理解一旦确定下来，就应做为企业层面的标准在企业内被共同遵守。 数据标准内容 原则 说明 统一规则 • 数据标准是业务运作和数据质量提升的基础。 • 数据标准定义了数据格式、规则和允许值列表 等，为 IT 开发与集成提供依据。 统一定义 • 数据标准为数据项的含义在全公司提供了统一 且一致的理解。 • 建立公司统一数据标准，任何应用系统、流程 文件都应该遵循。 明确责任人 • 明确了数据标准的责任人，使数据项的定义和 规则、录入质量、监控有了明确的责任主体 标准重用 • 在新系统开发过程中，通过对标准的重用降低 IT 成本。 数据标准的作用 • 从业务、技术、管理三个视角定义一个属性的要求和规格。 业务视角 技术视角 * 主题域 * 业务对象 逻辑数据实体 * 数据分类 * 业务属性 * 业务定义及用途 * 业务规则 同义词 数据类型 数据长度 * 是否有允许值列 表 允许值 * 数据示例 * 业务规则责任主体 数据维护责任主体 数据监控责任主体 管理视角 11 数据架构组件二：数据标准样例 关键发现：数据标准不规范 数据字段不标准，数据交互失败导致系统故障，影响 业务运营。例如：组织机构、人员信息、装置名称、 实时数据名称，在各个业务领域叫法不一致，这些数 据来源于不同系统，导致数据获取不准确。 数据资产目录 L5 基于数据资产目录 L5 属性，进行特征抽象与整合， 对共性的属性进行标准定义，最终形成数据标准清 单。建议优先对编号类、代码类、度量类、时间类、 描述类数据进行标准定义。 存量系统界面字段定义 通过存量系统界面字段定义，对已梳理的 数据标准定义、用途、规则、类型等进行 校验补充，确保数据标准的完整性和准确 性。 场景输入 梳理基础 校验补充 主题域 业务对象 编码 业务对象 名称 属性编码 * 属性特征 类型 （内部数据 必填） * 属性中文 名称 * 属性英文名 称 * 业务定义及用途 业务规则 * 数据类型 数据长 度 * 是否有 允许值 允许值范围 数据示例 同义 词 外部数 据标志 * 业务规则责任 主体 数据维护责任 主体 属性所 属的主 题域 属性所属 的业务对 象编码 属性所属 的业务对 象名称 所定义属 性的编码 属性类型， 内部数据必 填，外部数 据不填 所定义属性 的中文名称 所定义属性的 英文名称 对属性的定义，解释这个属性是 什么，对业务的作用 属性的业务规则，包括但不限 于此标准在各场景下的变化规 则，编码含义等。对于部分复 杂的规则，可附《 XX 文件》 进行详细解释 业务定义的 数据类型， 可选填，类 型可选项： 文本、日期、 数字 此标准 的数据 长度 是否有允 许值列表， 选“是”的 话后一列 “允许值” 必填 属性的允许值列表， 可选填 实例化的一、 两个样例， 用以帮助其 他人员对此 属性的理解 此标准 是否是 外部数 据 业务规则责任人， 一般为数据责任 部门，用以明确 责任 数据维护责任 人，一般为相 关业务部门， 用以明确责任。 对于未细分责 任的属性，此 项为选填 - - 运输委托 DS0000150 865 代码 运输方式 Transport Mode Name 运输方式是客、货运输所赖以完成的手 段、方法与型式，是为完成客货运输任 务而采取一定性质、类别的技术装备 （运输线路和运输工具）和一定的管理 手段。华为物流所指的运输方式主要是 货物运输方式。 主要有 BY AIR, BY AIR SEA, BY AIR TRAIN, BY AIR TRUCK, BY EXPRESS, BY SEA, BY SEA AIR, BY SEA TRUCK, BY SEA TRAIN, BY TRAIN, BY TRAIN TRUCK, BY TRUCK, BY SELF PICKUP ，共 13 种运输方式。 1. BY AIR ：空运 2. BY AIR SEA ：空运和海运联运 文本 101 是 BY AIR, BY AIR SEA, BY AIR TRAIN, BY AIR TRUCK, BY EXPRESS, BY SEA, BY SEA AIR, BY SEA TRUCK, BY SEA TRAIN, BY TRAIN, BY TRAIN TRUCK, BY TRUCK, BY SELF PICKUP BY AIR N 供应链管理部 / 物 流部 - - 进出口报 关单 DS0000324 299 编号 报关单号 Declaration Number 报关单号是报关单的唯一识别编码，报 关单是指进出口货物的收发货人或其代 理人，按照海关规定的格式对于进出口 货物的实际情况做出的书面申明，以此 要求海关对其货物按适用的海关制度办 理报关手续的法律文书。 系统自动创建，编码规则为： 3 位类型编码（如 EPT 代表出口， export 缩写） +8 位日期 +6 位流水 号 文本 240 否 EPT20200618 000128 N 供应链管理部 / 物 流部 根据某能源行业客户现状关键发现，基于数据关键属性，在部分板块选择试点企业进行数据标准编制工作。 示例 12 数据架构组件二：数据标准预期效果 投入资源开展数据标准工作 A A A A A A S Customer Type S Job Role S Embargoed Country S Region A A A A A S Customer Type S Job Role S Embargoed Country S Region A A A A A A S Customer Type S Job Role S Embargoed Country S Region D A T A S T A N D A R D S A A A A A A S Customer Type S Job Role S Embargoed Country S Region D A T A S T A N D A R D S 有标准前 有标准后 • 对标准的更改往往对业务造成巨大影响 • 业务不知道变更所影响到的应用系统是什么 • 应用系统的更新需要核对许多数据源头 • 当标准变更时，业务流程给数据标准工作提供信息 • 应用系统可以提供它们所使用的标准情况和信息 • 数据标准的价值在于使用共同语言来协调变更 数 据 标 准 13 数据架构组件三：数据模型 炼油化工 计划 控制 … L1 L2 业务域及对应主题域 概念数据模型 CDM 物理数据模型 PDM 逻辑数据模型 LDM 最高层级的数据分类，明确数据资源目录中 L2 主题域 与 L1 业务域的归属关系 从业务角度描述各业务对象之间关系的数据模型， 是对现实世界中具体人、事、物之间关系的抽象 • 业务层面概要描述，主要用于业务沟通与对标 • 无范式化要求 描述各逻辑数据实体之间关系的数据模型，承 载业务逻辑，是对概念数据模型的细化设计 • 每个实体需列出业务属性 • 满足三范式的要求 • 需确定标识符（主键） 关系型数据库能够识别的实现层数据模型 • 需完整涵盖逻辑数据模型所定义的业务范围 • 体现表和表之间的关系，包括表、字段、主键、 外键等 • 需考虑数据库特性和性能进行设计，如索引、 视图等 装置 人员 产出量 收费记录 收费ID 收费金额 车辆入库ID (FK) 车辆出库ID (FK) 车辆出入库记录 出入库ID 车牌号 出入库类型代码 车辆出入时间 • 数据模型是从数据视角对现实世界特征的模拟和抽象，根据业务需求抽取信息的主要特征，反映业务对象之间的关联关系。 14 数据架构组件三：数据模型样例及预期效果 1. 通过构建业务对象与业务对象之间模型关系，建立业务端到端数据流打通的基础； 2. 围绕业务对象模型关系实现数据整合，消除信息冗余，实现信息跨业务高度共享与应用； 3. 通过数据模型的设计，便于业务领域数据分析，识别对应业务涉及的数据范围，更好地指导数据资产管理。 示例：概念数据模型 示例 15 数据架构组件四：数据分布 数据分布定义和组件 • 定义：是数据在业务流程和 IT 系统上流动的全景视图；识别数据的“来龙去脉”；是定位数据问题的导航 • 组件：信息链；数据流；数据源 • 识别数据的“来龙去脉” • 是定位数据问题的导航  定义： 信息链是一个指定范围内的端到端流程，或流程 中的活动间信息流的表述。包括信息被创建 （ Create ），读取（ Read ），更新 （ Update ），删除（ Delete ）  主要包含要素： 信息（一般指 Business Item 或其中的具体信息 项）、流程架构 L3 或 L4 ( 或 BFM) 、 CRUD 关 系、操作角色 注：如果需要，会在一张图中描述多个信息在流 程间的 CRUD 关系。 信息链  定义： 用于描述某一数据在应用系统中的如何被创建 （ Create ），读取（ Read ），更新 （ Update ），删除（ Delete ）  主要包含要素： 数据（一般指逻辑数据实体或实体的具体属性）、 应用系统、 CRUD 关系、操作角色 注：如果需要，会在一张图中描述多个数据在应 用系统间间的 CRUD 关系。此时的数据流图，与 应用架构的“应用系统集成图”比较类似。 数据流  定义： 指业务上首次正式发布某项数据的应用系统，经 过数据管理专业组织认证，作为唯一数据源头被 周边系统调用。  目的： 确保数据源头的统一，以及跨流程、跨系统数据 的唯一性和一致性。  主要内容： 数据源认证原则，数据源认证标准 数据源 16 数据架构组件四：数据分布样例 1. 梳理清晰数据在业务工作流中的流转，便于数据质量的根因分析和流程绩效的改进； 2. 理顺各个 IT 系统存储、管理了哪些数据及其数据在 IT 系统的传递与引用； 3. 支撑业务工作流开展，在整个生命周期范围内确保数据的完整性及一致性，同时指导系统的集成和开发。 数据分布组件 数据流 / 信息链 表达数据在 IT 系统 / 业务流 程中的流转 数据源 定义数据产生 的 IT 系统源 头 示例：收入数据流 示例 17 目录 1. 理解数据治理咨询 2. 数据架构是什么 3. 数据架构为客户带来的价值与收益 4. 数据架构规划方法 5. 案例分析：数据架构的疑难问题，如何应对客户的挑战和疑问 18 数字化转型规划咨询项目中，有没有 必要做数据架构规划？为什么？ 19 数据架构的定位 一、数据架构是联接业务架构与应用架构、 技术架构的桥梁 • 业务架构定义每个活动输入输出信息 • 数据架构整合抽象业务对象、逻辑数据实体和属性，承接业务 的数据需求，牵引 IT 的规划设计 • 应用架构依据业务对象规划功能，技术架构依据数据模型设计 数据存储方案 二、数据架构跨流程发挥价值 • 数据在某个流程中产生和定义，但流动到下游各个流程和 系统中使用 • 对企业内贯穿各组织的数据进行集成 • 对通用的高质量数据进行共享 Information Flow 20 数据架构为客户带来的价值  通过规划数据模型，帮助客户重新理解数据之间的关系，识别潜在的业务需求 统一数据语言 消除理解歧义 理解数据关系 识别业务需求 支撑数据共享 提升数据质量  通过制定业务术语，使得对数据的理解在企业层面达成一致，提高沟通效率  通过定义数据源头，实现数据的集成与共享，消除数据冗余  为数据质量的提升规划了目标 厘清数据资产 落实数据责任  通过数据资产目录规划，为企业设计数据资产沙盘提供指引  通过明确数据责任，落实数据管理的责权利 有什么“ What” 谁负责“ Who” 是什么“ What” 是什么关系 “What Relation” 在哪里、如何流转“ Where” 通过数据架构，实现数据的业务化、标准化，降低人们理解数据的门槛，指导 IT 系统的开发落地！ 21 目录 1. 理解数据治理咨询 2. 数据架构是什么 3. 数据架构为客户带来的价值与收益 4. 数据架构规划方法 5. 案例分析：数据架构的疑难问题，如何应对客户的挑战和疑问 22 数据架构原则 序号 原则名称 原则说明 1 数据按对象管理，明确数据责任 数据在业务活动中产生并记录，按对象进行管理，明确数据责任 2 以企业全局视角定义数据架构 数据架构应基于企业全局视角定义，建立数据标准，形成数据共同语言，在 企业生态中发挥作用 3 遵从公司数据分类管理框架 基于数据本身的特性来划分数据的类别，进行分类管理 4 业务对象结构化、数字化 根据业务需求建立业务对象的结构化、数字化架构，提升业务对数据的处理 和应用能力 5 数据服务化，同源共享 定义单一数据源，通过数据服务化，实现同源共享，以保证跨流程、跨系统 的数据一致 23 数据架构规划的输入输出 数据架构规划 业务术语 业务能力框架 流程架构 组织架构 IT 产品 / 系统 业界实践 数据资产目录（ L1-L3 ） 数据源 概念数据模型 行业软件包实践 24 数据架构规划的四个步骤 规划数据资产 目录 L1-L3 1 定义 业务术语 2 设计概念数 据模型 3 规划 数据源 4 • 数据资产目录先 规划 L1 业务域， L2 主题域和 L3 业务对象的规划 可以同步。 • 业务