国家电网华为云技术培训 华为云数据中台解决方案（33页 PPT）

微信扫码，打开到小程序

国家电网华为云技术培训 华为云数据中台解决方案介绍 目录 • 国网数据中台总体方案介绍 • 结构化数据处理方案介绍 • 非结构化数据处理方案介绍 • 数据中台使用说明 2 业务 xx 中台 5 数据中台 6 物联平台 数 据 治 理 数据接口注册 数据接口管理 标 签 管 理 AI 使能 BI 报表 数据可视化 设备管理（ DMP ） 主数据 管理 数据模 型管理 数据标 准管理 模型开发 数据预处理 数据质量管理 数据生命周期管理 AI 架构设计 数据分析 数据 集成 全业务统一数据中心 4 PaaS 应用管理 微服务治理 服务目录 Devops 通用公共服务 应用发布 注册中心 服务发布 API 网关 编排调度 配置中心 服务订购 分布式消息 弹性伸缩 调用链 服务自定义 GaussDB100 监控日 控制台 GaussDB 200 & 交 换 数据复制 管理 元数据 数据中心 7 安全 应用安全 主机与 虚拟化安全 网络安全 终端安全 身份认证与 访问管理 安全管理 3 IaaS 计算 存储 网络 混合云 云边协同 应 用 云运维 云运营 计量计费管 理 泛在电力物联网平台层方案全景图 项目 / 需求管理 代码检测 流水线 自动测试 结构化数据采集 非结构化数据采集 流式数据采集 结构化数据 人员域 物资域 物资域 非结构化数据 市场域 项目域 物资域 连接管理（ CMP ） 电网业务资源中台 设备管理 工程项目 电网安全 负荷分析 智能巡检 能效服务 数据中心 8 统一管理 客户服务中台 贴源层 共享层 分析层 2 无线网络 / 物联代 理 电网 OMS 系统 电网 OA 办 公系统 电网财务 系统 综合能源服 务系统 设备鉴权 设备访问权限管理 设备配置管理 输电业务 系统 配电业务 系统 计费 / 入账 数据处理 规则引擎 报表统计 资产管理 3 1 终端采 集 服务管理 资源对象管理 健康度分析 告警管理 性能管理 拓扑管理 用户管理 运维权限管理 角色管理 容量管理 AI 应用场景 服务生命周期管理 服务列表 数据 仓库 中台 志 大数据分析 DWS （ GaussDB200 服务化） 数据管理 统一接入、统一管理、统一服务的国网数据中台架构 数据服务（ DAYU ） Kafka 消息中间件 结构 化 业务类 采集类 ERP PMS 用采 J 营销系统 财务系统 共享层 贴源层 MRS IoT 数 据 一级 系统 HCS8.0 数据中台技术架构图 分析层 DCS( 缓存 ) DLI( 跨源分析 ) DLI( 实时流计算 ) CSS( 云搜索服务 ) 报表分析 GES ( 图引擎服务） 标签管理 模型层 近源层 E 文件 ETL 数据质量管理 元数据管理 数据开发 数据资产 模型管理 数据安全 人力资源 管理 IoT 平台 4 其他 层次 特点 选型组件 贴源层 • 数据只增不减，具备审计能力，并提供给共享层做数据恢复 • 提供低廉的存储能力，以供海量数据存储 • 提供高并发数据写入能力，以供数据高效写入 • 数据不对外开放，数据访问以支持海量数据审计和高可靠为主 MRS （ Hive ） 表 共享层 • 需要提供高效的访问能力 • 需要支持数据发放能力 • 需要支持高效的数据更新，删除能力 DWS 分析层 • 高并发的查询能力 • 强资源隔离能力 DWS 迁移工具 DRS ：实现将数据从 Oracle 到 Kafka DAYU ：实现从 Kafka 到 Hive/DWS DRS 、 DAYU 数据使能 模型管理，质量管理，资产管理，血缘分析等 DAYU 跨源分析 可以支持数据源在 RDS 、 DWS 、 HBase 、 Redis 等不同数据源的跨源分析 DLI(Spark) 流处理 支持通过 SQL 语句编排流处理作业，简化编程复杂度 DLI(Flink) 数据中台各层选型原因说明 5 数据中台主力服务介绍 • DRS • MRS • DWS • DLI • DAYU 6 01 多来源 支持各种来源数据库 • 无论您的数据库是在：本 地机房 • 还是在：其他云 • 还是在：华为云内部 均支持 02 多场景 通过 DRS 可以轻松，便捷 的实现多种场景： • 数据库迁移 • 数据同步 03 多网络 支持多种网络方式 您可以选择： • 公网网络 • 华为 VPN 网络 • 专线网络 • 华为 VPC 网络 04 多类型 支持丰富数据库类型 • MySQL • Oracle 支持消息系统 • Kafka 数据中台组件介绍 -DRS 7 企业级 • 高可用部署，所有管理节点均实现 HA • 支持 Kerberos 安全认证与 RBAC • 多级租户管理 • 支持数据表加密 • 强大的服务监控管理系统 • 支持滚动补丁升级，业务无中断 易运维 用户无需关注硬件的购买和维护，专门研发的企 业级集群管理系统，可让用户更好的监控和管理大 数据平台，并可通过短信 / 邮件的方式，提醒用户 平台异常 高安全 经由华为专业的安全团队和德国 PSA 安全认证测 试，提供云上高安全的大数据服务。基于 Kerberos 认证，实现了基于角色的安全控制以及完善的审计功 能 低成本 • 灵活配置节点与磁盘规格 • 灵活配置集群规模 • 灵活配置大数据软件及版本 • 支持计算存储分离，作业运行完自动销毁 • 支持 自定义策略，集群自动弹性伸缩 O&M 集群管理平台 数据接入 实时流分析 批处理 授权 DSL Spark SQL Hive Presto 分布式计算框架 MRS 服务：云时代全栈企业级大数据服 务 HDFS / HBase IaaS 分布式存储 ORC File RC File Parquet CarbonData P a a s Yarn / Zookeeper 轻量增强 深度增强 完全自研 Spark Streaming Spark Superior Scheduler Storm MapReduce/TeZ OS Auth Kerberos Storm Sqoop Flume Kafka 8 数据实时洞见 • 支持流式数据实时入库、业务数据准实时同 步 • 数据入库即可查，零等待 • 万亿数据查询分析毫秒级响应 极简易用 • 数据迁移工具，最大化降低 TTM • 兼容标准 SQL 2003 ，内置丰富 OLAP 函数 • TPC-H 、 TPC-DS 真正 100% 支持 企业级、安全可信赖 • 支持分布式事务 ACID ，数据强一致保证 • 满足史上最严安全合规要求 GDPR • 业界唯一数据库防火墙服务 协调节点 协调节点 10GE/25GE/40GE 高性能网络 计算节点 计算节点 计算节 点 业务场景 标准接口 MPP 大规模并行处理 引擎 自动云备份 IoT 互联网 BI 可视化 运营分析 标准 ANSI SQL 标准 JDBC 、 ODBC DWS ：实时、简单、安全可信的企业级数据仓库 金融 企业数据仓库 / 集市 EB 级对象存储服务 OBS 游戏 决策分析 9 企业 经营分析 业务开发 挖掘预测 • 逻辑统一数据视图 • 资源隔离，数据权限控制与分享 • 跨源分析优化器 • 关联 AI 能力 图片 日志数据 时序数据 空间地理数据 数据表 OBS Kafka CloudTable DWS RDS 方案特点： n 统一分析入口 n 多数据源，免搬迁 n 批流结合 n AI 能力低门槛使用 n 企业多租户 应用场景简介： 随着信息化时代的来临，企业数据产生越来约迅速，数据种类越来越多，体量也越来越大，如何挖掘数据的价值是企业信息化首要问题，在数据变成价值之 前，往往需要对大量数据进行加工转换，预先汇聚等各种 ETL 处理 DLI ：数据跨源分析，打破数据孤岛，海量数据高效数据处 理 10 DLI 》》 数据中台关键技术能力 产 存 消 监 管 控 平台智能 AI ： 存储 +AI ：定期推荐存储优化策 略，如增加索引， MV 等，数据越 存越 合理 计算 +AI ：根据负载和业务 SLA ，自动调整资源调度 运营 +AI ：脏数据发现，数据潜 在关系发现 用户 应用 分析 》 数 据 服 务 面向多种任务，最新的大数据和 AI 能 力 • Serverless ，根据负载自动伸缩 • 原生接口，企业应用无缝迁移 数据采集 采集，同步 数据规范 数据表 / 模型 设计，约束规 则定义 数据治理 标注，智能 ETL ，治理 数据资产 数据血缘，全 局视图 数据服务 支撑业务主题 / 画像 / 指标的 访问查询检索 数据中台组件介绍 -DAYU 敏捷可视能力 自助分析能力 快速开发能力 全局治理能力 高效探索能力 DWS/Hive/DLI/RDS Serverless 架构 数据 湖底座 DAYU 可管理丰富的数据源类型 Native 生态接口 离线 迁移 实时 接入 DAYU 平台：一站式数据运营平台 11 DAYU 数据集成 DAYU 数据服务 第三方 工具 数据消费 ca ffe 目录 • 国网数据中台总体方案介绍 • 结构化数据处理方案介绍 • 非结构化数据处理方案介绍 • 数据中台使用说明 12 结构化数据处理—数据特点 生产库多由 Oracle 或者 MySQL 组成，占生产库的 90% 生产库一般会存在更新删除，比例一般为 80% 新增， 19% 更新， 1% 删除 生产库可能会存在无主键表 生产库中，会出现 LOB 字段， GIS 字段，自定义字段 生产库的总量（业务数据 40T ，量测类 600T ），但是同步到数仓，希望能做 到只增不减 生产库的表的数目一般特别多，达到 10 万张，数据迁移效率是首要考虑的点 每天的增量数据不算太大（ 40G/XX 省） 13 1. 备库不是数据中台必须组件。 备库在读写分离、缓解高并发读 压力等实际需求情况下，按需建 设并依实际需求接入数据。 2. Kafka 一收多发，并发接入 MRS 、 DWS 3. 到 MRS 、 DWS 的数据需要 ORC 转换、数据抹平、增量到全量的 合并通过内置程序完成，使用大 数据平台算力。 结构化数据经 DRS 实时抽取至 Kafka ，经 DAYU 内置程序并行写入 MRS 和 DWS 中。 DWS 分析层 共享层 模型层 Cim 模型 1:1 映射表 近源层 ( 待关联表） Cim 模型需多表关联的表 系统原有备库 图例 ERP 、 PMS 等业务数据流 用采类数据流，源库为 oracle 虚线为规划中的数据流 MRS 镜像数据 审计数据（按需） DAYU 数据解析 3 DRS 实时抽取 备库 RDS 备库（可选，按需） DRS 实时抽取 2 数据管理 ETL 数据开发 元数据管理 模型管理 5 贴 源 层 结构化数据处理 - 总体流 程 业务类 ERP PMS 营销系统 财务系统 DAYU 数据解析 4 数据资产 数据安全 数据服务（ DAYU ） Kafka 消息中间 件 采集类 用采 数据质量管理 结 构 化 1 2. 历史 + 增量平滑同步 2. DDL 数据 2. 支持特殊分隔符 3. 全量行记录补齐 3. JSON 格式 3. 支持按分区表入库 1. 临时表 4. 实时处理 4. AVRO 格式 4. 支持导出到临时表 2. 全量表 5. 低权限 6. 高可靠 7. 并发度 8. 性能 >30MB/s 9. Oracle 版本支持 （ 10/11/12/ ） 10. 需要支持白名单 / 黑名单配置 5. 增加时间戳和操作类型字段 等扩展字段 6. 数据去重（临时表 + 全量表） 7. 数据合并（临时表 + 全量表 DRS Kafka 1. 解析日志 1. DML 数 据 结构化数据处理 - 特点说 明 HBase DWS Hive 、 Spark DAYU 1. 按库同步 15 Oracle DML 新增数据： { "table" : "{schema.tablename} ", "op_type" : “I”, "op_ts":"2019-11-26 22:26:24.000108", "current_ts":"2019-11-26T22:26:30.252000", "pos":"00000000000000008226", "after":{"id":2,"name":"g"} } 更新数据： { "table" : "{schema.tablename} ", "op_type" : “U”, "op_ts":"2019-11-26 22:26:24.000108", "current_ts":"2019-11-26T22:26:30.252000", "pos":"00000000000000008227", “before":{"id":1,"name":“terry"}, “after":{"id":1,"name":“luna"} } 删除数据： { "table" : "{schema.tablename} ", "op_type" : “D”, "op_ts":"2019-11-26 22:26:24.000108", "current_ts":"2019-11-26T22:26:30.252000", "pos":"00000000000000008228", “before":{"id":1,"name":“terry"}, “after":{} } 建表语句 { "recordType": "table", "db": "db1", "schema": "", "name": "tab1", "columns": [ "col1": { "name": "col1", "position": 1, "type": "int", "precision": 10, "scale": 2, "length": 11, "default": 0, "nullable": "no", "autoIncrement": "yes", "isPrimary": "yes", "charset":"utf8", "comment": "" }, "col2": { "name": "col2", "position": 2, "type": "varchar", "precision": , "scale": , "length": 100, "default": '', "nullable": "yes", "autoIncrement": "no", "isPrimary": "no", "charset":"utf8" } ], "constranits":[ {"name": "pk1", "type": "primary", "columns": ["col1"]}, {"name": "uk1", "type": "unique", "columns": ["col2", "col3"]}, {"name": "cons1", "type": "check", "content": "col4 in ('M','F')"} ], "charset":"utf8" } 结构化数据处理 -Kafka 消息格 式 16 DDL 字段类型 范围 Hive 类型 DWS 类型 INTEGER 4bytes INTEGER INTEGER Char 1-2000 Char Char Varchar2/varchar 1-4000 String TEXT NCHAR/NVARCHAR2 1-4000 String TEXT Number 1 x 10-130 to 9.99...9 x 10125 -1 x 10-130 to 9.99...99 x 10125 Decimal Numeric Number(1) 1byte Tinyint TINYINT Number(2)-Number(4) 2byte SmallInt SMALLINT Number(5)-Number