数字化转型之数据中台智慧中台解决方案（42页 PPT 精品）

微信扫码，打开到小程序

1 行业分析 2 方案 3 场景 4 5 n 美国《大数据研究与发展计划》 2012 年 3 月正式对外发布， 同年 10 月澳大利亚启动《公共服务大数据战略》制定工作，英法也于 2013 年先后发布《把握数据带来的机遇：英国数据能力战略》和《数字化路线图》 n 我国大数据已上升为国家战略，并不断深入，作为新型生产要素，促进各实体行业发展，并逐渐制度化 《十四五大数据产业 发展规划》 发布，大 数据产业的高质量发 展成为主题。 十四五规划正式发布， 大数据发展已融入到 各章节 深化阶段 落地阶段 大数据已上升为国家战略，促进实体行业发展 《关于新时代加快完善社会主义市场 经济体制的意见》提出“加快培育发 展 数 据 要 素 市 场 ” 酝酿阶段 十九届四中全会 首次公开提出“数据可作为生产 要素按贡献参与分配” 《关于构建更加完善的 要素市场化配置体制机 制的意见》数据被正式 列为新型生产要素 国务院发布《关于构 建数据基础制度更好 发挥数据要素作用的 意见》。 十九大报告提出“推动 大数据与实体经济深度 融 合 ” 中国大数据政策 元年 国务院印发 《促进大数据发展的行动纲要》 工信部发布《大数据产业发展 规划》（ 2016-2020 年） 中央政治局 就实施国家大数据 战略进行集体学习 《十三五规划纲要》第 27 章“实施国家大数据战略” 大数据上升 国家战略 第 3 页 明确数据要素地位 加快数据要素市场化建设 政策分析 大数据首次写入政府 工作报告 数据要素市场化配置 上升为国家战略 促进数据应用 实施国家大数据战略 重视数据价值 “ 大数据”成为热点 大数据连续 6 年 写入政府工作报 告 2019.3 2019.10 2020.4 2022.12 2016.12 2017.12 2017.10 2021.11 2020.5 2021.3 2014.3 2015.8 2016.3 按照《政务信息系统整合共享实施方案》 （国办发〔 2017 〕 39 号）、 《加快推进落实 < 政务信息系统整合共享实施方 案 > 工作方案》 （发改高技〔 2017 〕 1529 号）强调探索政务数据“聚、通、用 ”。 1. 主动破题，狠抓政务大数据“聚通用”三个环节，认真分析政务大数据共享壁垒 , 通过机制创新、业务创新、技术创新 , 积极探索全省数据共享交换体系的建设。 2. 抓实各地各部门信息系统整合共享、场景应用，提升政府治理服务能力，服务社会民生，增加老百姓“获得感”。 3. 进一步统筹推动全省政务信息系统整合共享 ，以贵州省数据共享交换平台为基础，以核心应用场景为抓手，构筑政府数据“聚通用”发展新格局，显著提升政 务 信息化支撑“放管服”改革能力 “ 实施国家大数据战略，构建以数据为关键要素的数字经济，加快建设数字中国。” “ 将数字技术广泛应用于政府管理服务，加强公共数据开放共享，推动数据资源开发利用，提高数字化政务服务效能。” 推动实施国家大数据战略 ，加快完善数字基础设施 ，推进数据资源整合和开放共享。 推进技术融合、业务融合、数据融合 ，实现跨层级、跨地域、跨系统、跨部门、跨业务的协同管理和服务的“三融五跨” 数据共享开放水平不高 政务大数据共享仍然存在着“愿不愿共 享”“能不能共享”“共享能力够不够”等 诸多问题； 跨部门融合协同应用较少 跨层级、跨地域、跨部门的大数据应用 还比较少，数据融合利用的效能发挥还 不够。 存在共享交换的政务数据质量不高、标准不一致的情况， 信息化建设缺乏统筹考虑，政府数据资源重复采集、“一 《中华人民共和国国民经济和社会发展第十四个五年规划和 2035 年远景目标纲 要》 在中央政治局就实施网络强国战略进行第三十六次集体学习时讲话： 在十九届中央政治局第二次集体学习时重要讲话： 实现政务数据共享交换还远远不 够 数一源”确权问题，信息化建设缺乏有效的数据支撑。 第 4 页 政策背景 n 中台是一个基础设施，其以底层的稳态保障上层的敏态，以公共的建设保障各业务线的使用，以当前的重投入保障未来的高产出。 n 中台典型特点： - 数据汇聚打通，解决跨部门协作障碍、业务数据孤岛问题。 - 中台能力复用，面向多业务线服务，解决各个业务线重复开发浪费计算与存储资源问题。 - 企业配套机制，企业从高层到具体执行者高度认可数据战略，数据价值，建立独立的数据部门。 - 统一标准规范，解决数据标准不统一，数据质量不高、数据使用成本高的问题。 n 中台以服务中大型客户为主，对于不满足规划要求的客户， 可以通过中台里某个模块如数仓、数据湖或者主数据治 理先切入解决客户实际问题。 数据中台建设企业数字化转型必由之路 拥有比较完善的配 套机制，包括企业 战略、组织文化、 数据部门成熟度等。 业务既不是完全一 成不变，也不会有 颠覆性变化，且业 务线之间有所关联。 已经或未来较短时 间内有大量业务数 据积累，对数据资 产价值转化需求高。 多条产品线或横跨 多业态，呈多元化 经营，各部门需对 各条线做分析决策。 组织结构复杂，跨 部门协作障碍严重， 已经显著影响到企 业深度发展。 信息化已达较高水 平，业务经营由多 个信息系统支撑， 且壁垒明显。 数据积累 “大” 组织壁垒 “重” 业务特征 “关联” 配套机制 “完善” 经营模式 “多元” 信息化程 度“高” n 数据中台面向的客户“六大特征” 第 5 页 3 场景 4 方案优 螃 5 以数据湖为底座，利用元数据智能驱动技术，深化数据全流程治理，提供异构数据汇聚、海量数据处理以及全域数据 运营等服务。解决企业数据领域多源异构数据融合、数据资产集中治理以及数据共享安全可控等难点。面向各行业领 域提供数据中台建设、管理及数据服务能力，赋能数字化转型与运营。 资源标签化 标签运营化 数据中台 解决方案 让只懂业务的人会用数据中台 il 数据价值变现流程 数据中台定位 第 7 页 数据 3.0 时 代 数据 2.0 时 代 数据 1.0 时 代 数据资源化 业务数据化 数据 治理 平台 存储 计算 基于底座 IaaS 能力，实现多源异构数据汇聚、治理融合、数据模型可视化构建、离线 / 实时开发、多维分析和可视化、数据 服务可视化构建 ，解决数据中台建设过程中数据互通难、数据融合难、数据运营难等问题，实现数据资产价值化。 角色管理 权限管理 用户管理 个人中心 ... 数据 应用 数据应用 数据 BI 可视化应用 AI 数据挖掘应用 数据服务 应用管理 平台管理 服务市场 数据汇聚 离线采集 文件同步 人工数据填报 数据模型管理 数据开发 BC-Hadoop 生态组件 异构 数据 各类 应用 经营 分析 系统 数据湖生态组件 数据资产管理 标签管理 数据中台整体能力 数据中台 整体能力 统一 标签 系统 关系 型数 据库 领导 驾驶 舱 第 8 页 日志 数据 整库同步 Topic 管理 API 管理 实时同步 消息 中间 件 CNP BC-Lakehouse 云 HBase 云 Kafka 租户管理 数据标准 任务管理 数据质量 工作流开发 数仓建模 数仓分层 目录分类 指标设计 运维中心 数据调度 数据开发 资产总览 资产监控 数据地图 MapReduce Kafka 实体管理 标签画像 系统 & 安全管 理 23 年 Q4 具备 HDFS Hive Trino Spark Flink YARN HBase 元数据血缘智能解析 实现 SQL 、存储过程脚本的血 缘解析能力 ，提高实施效率 ， 降低维护成本。 实时数据治理 基于分布式实时计算引擎技术 ， 实现实时接入 、 实时计算 、实 时推送等能力 ，满足物联网实时 分析应用需求。 自助式数据探查 实现基本探查、深度探查以及 业务探查的能力 ，提升盘点数 据资产效率 数据共享融旧创新 实现管理与共享无缝集成 ，提 供库表、接口、文件、流式等 数据服务模式 ，实现数据服务 双向协同。 主数据管理 提供数据定义、主数据建模、主数据 开发、主数据维护、主数据分发等管 理 ，实现主数据全流程管理。 客户 360 度画像管理 提供标签的创建 、 修改 、发布、 执行 、 下线等全流程管控， 实 现 360 度画像分析和应用。 智能数据运营 对数据湖提供数据资源、指标、 画像、模型等服务 ，实现数据 价值快速变现。 智能生成实施方案 基于产品完成实施后 ，系统自 动生成实施方案文档 ，减少文 档编写工作量。 数据治理平台特性 第 9 页 业务中台 视频中台 快速构建政务服务应用 地图中台 身份认证中台 区块链中台 ······ 数据治理体系 数据资产体系 数据共享开放体系 数据中台 数据采集 数据加工 数据治理 数据服务 共 享开放 全网搜索 智能分析 融合应用 聚 构建全面的数据汇聚机 制，对多源异构数据进 行采集，与业务实现分 层管理 管 实现数据的清洗、分类、 转换、关联，并按照业 务领域构建数据模型 理 梳理行业管理的数据， 形成数据脉络，理清 数据现状和数据需求 用 数据治理最终价值体 现，通过数据共享开 发赋能应用创新 治 基于行业及内部标准 进行数据标准化、元 数据和质量的管理 cc 聚通用 2.0" 政务数据平 台 支撑政务决策分析 数据大脑 第 1 0 页 。。。 实现对多源异构教据的采集，支持 50+ 种数据源、 2600+ 种数据源配对的适配，支持从不 同 结构的数据源中抽取数据，对数据进行复杂的加工转换，最后将数据加载到各种存储结构 中 概览 数据集成概览，对系统 中各单位，各方式汇聚 的数据表数，数据量， 结构化数据，非结构化 数据进行监控。 实现对多源异构数据的采集，用户通过选 择已有或自定义转按规则完成对数据的同 步、转存、结构化分析等操作。通过一键 配置操作，实现海量数据间传输。 单表同步 实现多源异构数据同步， 支持 2000+ 种单表全量或 增量、文件同步配对方式， 提供可视化的任务配置界 面， 10+ 种转换组件，丰 富的单表数据同步场景。 整库同步 支持 200+ 种批量、整库 同步配对方式，采用一键 配置方式实现海量数据间 的多表或整库采集，具备 单库到单库、多库到单库 的能力。 数据源管理 用于连接不同类型的数据 库，存储用户所需的数据 库及相关连接信息；支持 50+ 数据源的适配和数据 源之间全量或增量的数据 同步。 API 采集 支持复杂 API 间灵活、 快速、无侵入式的数据 集成，具备可视化流程 控制，运行控制，日志 监控等。具备 10+ 种 API 转换组件。 实时同步 基于 CDC 技术，实时 捕捉源表数据变化，同 步至目标表，支持 400+ 种实时同步组合， 利用一键配置方式实现 海量数据间的实时采集。 • 大规模数据迁移 • 多业务系统数据汇 聚 • 实时数据同步 • API 数据落库 应用场景 核心功能 解决问题 治理平台 数据汇聚 第 1 1 页 数据标准 • 支持词典、度量单位、代码集、标 准数据元、标准文档、命名标准等 6 种类型数据标准管理。 • 数据标准用于标准化翻译，数据清 洗、数据质量稽核等场景，助力平 台数据质量提升。 数仓规划 • 支持自定义数仓层级的创建，支持 各层级业务元数据的个性化配置 ， 满足组织个性化的业务需求。 • 支持多级目录创建和管理，助力组 织数据资源的分类和梳理。 数仓建模 • 支持通过可视化配置的方式进行数据 模型构建，简单高效。 • 在不同层级，支持数据清洗、事实维 度建模、指标汇总等数据模型构建， 内置 10+ 种数据清洗规则。 • 支持数据血缘， 满足数据溯源的需求。 指标设计 • 通过原子指标、业务限定、统计周期、 统计粒度的组合，进行可视化指标设 计。实现命名规范、口径一致的统计 指标构建，内置 15+ 统计周期。 • 支持通过指标选择， 自动生成汇总表 ， 简化开发流程。 来自不同业务系统的数据，存在标准不一 致、指标口径不一致的问题。基于数据标 准，进行多源数据的融合和清洗，及规范 化建模，有助于提升组织的数据质量和协 同价值。 整合数据资源，统一数据标准，构建规范化的数据模型，统一指标口径，消除 数 据的不一致性，提高组织的数据质量，使数据资产价值最大化。 • 数据标准建设与应 用 • 数据清洗 • 规范化的数据建模 • 指标管理 治理平台 : 数据治 理 应用场景 核心功能 解决问题 第 1 2 页 规 则 模 板 严格依据国家标准衡量维度，提供丰富的质量校验规则构建、执行、验证、报告等功能，实现对各层级数据的全方位质量稽查，覆盖数据质量 管 理全流程，助力平台数据质量提升。 基于完整性、规范性、唯 一性、一致性、时效性标 准，涵盖 27+ 种质量规 则配置，，实现覆盖国家 标准的评估维度。 提供丰富内容的数据质 量报告，包括评分、总 述、维度质量水位线， 各维度详细报告、总体 主要问题等。 面向业务构建数据质量 模型，定义规则权重、 衡量维度权重，量化质 量稽查结果，实现体系 化评估。 接入平台统一数据源，支 持对 Hive 、 Mysql 、 MRS 、 Maxcompute 、 Oracle 等 5+ 种数据源进行质量稽查。 提供执行测试或发布任务 至运维中心，按调度周期 执行，实时监控执行进度， 输出质检结果。 通过数据整改，将问题 数据和告警规则一并提 供给数据源端，完成质 检提升工作的闭环。 治理平台 : 质量核 查 数据接入 数据整改 规则配置 模型构建 质量报告 任务运维 第 1 3 页 • 仅部署 K8s ，即可支 撑实时计算平台的任务 运行。 • 无需单独部署 Flink 集 群，实时任务运行时， 会自动创建 Flink 集群。 • 支持在应用程序异常 崩溃或者手动暂停任 务等情况下，保存状 态信息，实现断点恢 复。 • 支持在数据处理过程 中，每条数据精准一 次处理。 • 基于 Connector 进行动 态扩展连接器，支持 消息队列 kafka 、数据 库 Binlog 等实时流数据， 也支持数据库 MySQL 等离线批数据 14 • 可以通过数据开发窗 口完成一站式开发 ， 包括数据接入，数据 转换，数据关联，数 据输出等。 • 自动提示补全、语法 高亮、语句美化、在 线调试、血缘分析、 版本对比等 基于 Apache Flink 构建高性能、一站式实时开发平台，包含实时数据采集、实时开发、实时运维监控等功能，提供面向海量数据的秒级分析服务， 助力实时数仓建设、企业数据应用实时化。 治理平台 : 实时开 发 易 使 用 易 拓 展 轻 量 化 高 可 用 第 1 4 页 • 直接将数据结果多种形式发布为 API 服务 • 建立 API 生态，例如开放 API 给合作伙伴、开发者 等，帮助政府企业实现数据的资产化和价值化 • 统一接口标准，减少上层应用对接工作量 • 通过 API 审核发布、鉴权流控等手段提升数据安全 能力，减少敏感数据在应用侧暴露 • 将数据逻辑相关的存储与计算资源下沉到数据平台， 降低应用侧的资源消耗 提供快速构建数据 API 服务，通过标准化管控服务，完成从 API 创建、发布、申请 / 审批、调用的全生命周期管控，充分发挥数据资产的价值， 提高数据开发与共享效率。 核心功能 安全控制 API 调用监 控 • 提供 API 托管服务，覆盖设计、开发、测试、发布、 运维监测、安全管控、下线等 API 各个生命周期阶段 • 对不同 API 进行灵活组合，支持不同 API 之间的编 排，提高业务系统对接的整体效率 提供向导模式、 SQL 脚本模式、转换模 式、编排模式等多种快速生成 API 能力， 实现 API 的统一发布、上架、调试和应 用授权，支持 12 种数据源。 应用是数据服务消费者，使用 API 的主体， 一个应用可以申请多个 API 权限，支持 AK-SK ， token 等多种鉴权方式。 应用管理 API 管 理 治理平台 : 数据服 务 提供 API 流量控制、 黑白名单控制 , 提供 多种维度的后端服务保护功能。 应用场景 解决问题 支持监控 API 运行情况。 第 1 5 页 汇集数据表、 API 、指标。数据标准等数据资源，以数据目录的形式提供数据展 示 的窗口，实现数据资产的总览，分类检索和详情查看，为数据管理者和使用者理 解数据、增强共享和使用数据提供帮助。 资产总览 • 提供平台各项数据资产的统计，包 括数据表、 API 、指标、数据标准。 • 支持按照资产分类及其他业务口径， 进行资产的分类统计，对外透出组 织的数据资产价值。 数据检索 • 支持按照分类、关键词、属性等， 进行数据资产的全局检索。 • 帮助数据使用者在海量的数据资产 中，高效的查找数据资产，提升数 据开发和数据应用的效率。 数据详情查看 • 全面展现数据表、 API 、指标和数据 标准的各项属性和详细信息，包括字 段、数据预览、血缘、分区、参数、 口径等。 •