华为大数据中台架构分享（24页 PPT）

语言	格式	评分
中文（简体）	.pptx	3
概览
大数据中台架构分享数据中台背景洞察华为数据中台顶层设计华为云数据中台解决方案 DAYU 目录业务模块数字化应用数字化运营数字化指标运营系统质量管控工序数据质量实时监控预警 E2E 融合质量数据预警系统数据可靠性分析物联网数据应用数据资产管理物流数据采集系统 IT 产线数字化生产安全数字化制造能耗数据管理云制造数据分析测试，仪表，诊断，维修数据 / 智能诊断，装备维护，大数据云调度制造数据可视化订单全流程可视制造测试网络监控可视质量管控数据可视生产运营可视化质量管控质量大数据（事后） \| 质量预测模型（事前）智能制造资产管理 \| AGV 厂区物流 \| 产线预防性维护 \| 智能安全监控 \| 工厂能耗管理 \| 设备虚拟化 \| 设计生产一体化智能供应链管理第三方风控 \| 全球供应量可视化 \| 质量控制前置 \| 智能供应链（订单、仓储、物流）业务场景：智慧工厂全球运营指挥中心智能物流智能仓储 \| 智能装箱 \| 物流可视化追踪 \| 智能清关 C2M 动态供应链 \| 柔性生产线智慧工厂连接连接连接基于先进技术与工具，物流信息自动感知与采集，实物流全程可视数字化大数据分析网络资源规划 WMS&TMS 能力规划业务场景：智慧物流与智能仓储数字化运营客户需求、风险、外部运力等信息及时感知，自动给出预测性方案智能化料卸货 by Trailer Skate Dock 实时的物流信息驱动精准的资源计划管理智能化承运商执行过程与结果可视，绩效自动生成智能化基于云端的与内外部高度集成的物流 IT 系统基于 Geocode 的智能地址获取和校验三级运输二次运输国际运输拣料叉车 with RFID Sensors 卡车运输 --- 防盗感应器运输– 连接承运商和货主预测性运输按需送达带感应器的装车垛口实时的路径规划车辆追踪与 LSP 管理数字化的运输跟踪智能眼镜验收捡料 RFID Scanner 拣国家仓连接连接感知式存储客户工厂自动线体 AS/RS DC 作业接连超过 60% 计划或已经建立数据管理委员会 From 信通院、艾瑞咨询：预计到 2020 年，大数据软件市场规模将达到 268.2 亿元，年复合增长率 38.6% ；大数据服务市场规模将达到 165.9 亿元，年复合增长率 41.4% 。初步估算数据管理市场约 43 亿，核心发展方向：数据资产管理、数据可视化以及机器学习企业越来越重视数字化运营，核心重点是数据管理、可视以及数据治理大数据能力框架，数字资产管理作用将被关注基础大数据产品逐步成熟，数据安全、数据开放以及主数据管理需求旺盛。 From 中国信通院《中国大数据发展调查报告 2018 》 n 井喷增长的数字化业务需求 n 数据隐私和安全将对业务发展带来影响 n 数据贯穿企业内外分布在多个系统 n 人工智能将切实重塑商业模式 n 规模化、复杂的业务生态业界洞察— Gartner ：日益增长的数字化需求、复杂的业务生态系统、数据的分布式存储趋势，驱动企业需要构建一个跨越孤立数据、简单、一致的数字化运营生态系统 Wave 5 Wave 4 Wave 3 Wave 2 Wave 1 卓越数据管理 * 来源 Gartner CDO Circle Workshop Leading Innovation Practices 信息生态和价值化 … 内部数据外部开放数据社交数据 IoT 数据个人数据 n …… 自然语言处理高级分析（预测性、规范性分基础分析 ) （描述性、诊断性分析 ) 商务分析，展板报告增强分析和优化组合（无处不在；自动化；算法集… 市 ) 数据科学，人工智能 / 机器学习新趋势及挑战 / Gartner 数据分析和数据管理演进模型卓越数据分析逻辑数据仓库使能商业成功大数据企业级领域级本地 n n n n n 数据采集拿拿目标： • 从烟囱式多个平台向融合大数据平台，建立统一的数据采集与整合大数据处理、计算及数据服务能力，降低大数据使用成本 • 通过集中各领域数据，方便创新，让数据产生更大价值 • 大中台、小前台，前台特种兵敏捷作战单元 + 中台航母舰群精确制导炮火挑战： 1 、独：烟囱系统，数据孤岛严重。重复开发、成本浪费； 2 、断：数据理解与数据价值链条的断层； 3 、缺：缺标准、缺治理、缺数据； 4 、难：知数据难、要数据难、懂数据难；数字化运营，需要由传统的烟囱式 IT 系统向数据中台转型统一数据服务统一数据建模、分析与挖掘数据中台统一数据资产中心统一数据采集现网烟囱数据 IT 系统生产数仓数据采集销售预测客户分析运营生产建模分析建模挖掘建模分析数据采集辅助运营系统销售数仓客服应用应用系统新业务客服数仓客服销售生产数据中台背景洞察华为数据中台顶层设计华为云数据中台解决方案 DAYU 目录算法模型（ AI ）实现特性定义：全域级可复用的数据资产中心与数据能力中心，提供清洁、透明、智慧的数据资产与高效、易用的数据能力，使能业务数字化运营；愿景：让数据成为如水和电一般的资源，随需获取，敏捷自助；让数据极大发挥价值，推动业务创新与变革；数据领域由企业扩展到生态伙伴数据敏捷自助安全共享（隐私、授权、权限等）数据合规业务对象、规则、过程数字化数据联接数据实时可视数据透明数字业务化数据采集 / 处理自动化、智能化数据中台定义与愿景数据清洁主题连接层，数据中台核心资产 • 建立“面向对象、面向主体、面向业务流”的数据联接和标签 • 持续沉淀业务规则、算法、模型 • 建设公共数据服务，减少重复开发完整、清洁的逻辑数据湖 • 统筹推动、以用促建，急用先行 • 为数据中台提供一站式“原材料” • 汇聚各业务源系统数据，清洗 / 注册数据资产数据中台建设框架： 1 ）以业务数字化为前提，数据入湖为基础，建设数据资产中心； 2 ）打造能高效承载数据中台建设的数据运营平台能力中心满足自助、智能的数据消费 • 识别多场景数据消费需求 • 构建数据消费快速响应机制 • 数据业务化，数据反哺业务，促进数字化运营业务对象、规则、过程数字化 • 对准需求，驱动业务数字化 • 数据采集 / 处理自动化 • 持续数据治理，提升数据质量内部数据 cloudscope 人员 Esee … 机房建设 CMDB 资产配置存货主题事务数据云服务发布记录故障信息客服投诉营销活动主题联接（数据模型、标签、图谱）员工主题合同主题领域知识数字化运营中台消费场景业务报告自助分析实时可视智能决策运营监控 …… 数据计算（规则、算法、模型等）分摊智能运维模型销售收入预测模型业务平台数据服务数据开发元数据管理数据地图数据清洗数据共享台建非结构化数据业务日志视频流媒体文件外部数据客户财报国家风险行业信息财经信息维度区域外部数据社交媒体中台核心资产数据湖主数据客户基本信息云服务信息基础数据国家 Region 数字化运维数字化研发业务流效率提升数据可视化平数据质量设批量 / 实时采集数据资产中心数据能力中心据数据消费数据源产品项目主题文本挖掘云服务主题客户主题智能搜索站点主题数据采集设售卖记录数据服务数图谱建 CM 客服运营系统运维系统数据服务 2 1 3 与安全 HRMS CBC 主题联接数据服务指标数据运营指标运维指标中台核心资产云服务运营大屏销售毛利成本中心技术保障全景数据运营平台 DAYU 数据呈现与决策数据智能服务销售毛利成本中心云服务运营大屏技术保障全景数据实时可视诊断预警数据接入服务数据湖源数据大数据服务数据产生数据整合、标识、联接、建模数据提供数据消费数据治理元数据管理 / 数据地图 / 数据质量 / 业务指标／数据标准数据中台建设两条主线：数据开发数据开发 / 处理 / 调度／运维智能分析自助 BI/ 报表／ OLAP 数据可视大屏开发 / 发布／预览数据服务服务创建 / 发布／服务市场数据建设平台建设消费场景数据湖业务数字化 cloudscope FUXI SCM CBC 日志数据采集 log 实时数据接入 DIS 批量数据迁移 CDM 数据库实时同步 Dsync 数据服务 - 交付项目收入明细数据可视与分析数据服务 - 云服务建设全流程明细研发效率大盘智能扩容推荐数据调优诊断智能扩容推荐数据调优诊断研发效率大盘安全态势感知智能决策中心故障智能预警故障智能预警安全态势感知智能决策中心运营数据销售数据 DWS ES DLI OBS Ccloud Table 财务数据项目数据收入触发故障数据 MRS 合同基本信息开票触发计划业务主题发票信息收入触发开票计划回款核销阶段一：数据实时可视阶段二：诊断预警阶段三：智能决策 A 血业务人员管理者数据科学家 IT 开发人员数据消费的不同用户类型自愈系统自我控制解决问题。人工判断和采取措施中台数据消费解码：包含不同层次和阶段的数字化运营 • 智能分析问题根因 • 洞察趋势推荐方案 • 支持客观精准决策数字化运营的不同层次数字化运营的不同阶段 • 提前感知业务问题 • 自动预警潜在风险 • 数据展示实时可信 • 报告上线在线开会 • 支持数据层层下钻分析决策行动人工判断和采取措施指导要采取什么措施 ? 预测将会发生什么 ? 诊断为什么会发生 ? 描述发生了什么 ? 人工判断和采取措施人工判断和采取措施数据消费数据中台背景洞察华为数据中台顶层设计华为云数据中台解决方案 DAYU 目录数据运营平台 DAYU ，产品定位与价值定位：提供给数据工作者（数据管理者、数据分析师、数据开发者）的一站式、高效易用的数据治理运营平台；客户价值：帮助企业快速构建端到端的智能数据系统，消除数据孤岛，统一数据标准，加快数据变现，促进数字化转型； DAYU 平台：一站式数据运营数据可视化大屏可视， BI 视图全域数据目录（元数据 Catalog ）命名： DAYU 像大禹治水一样帮助企业进行数据治理与运营，最终让数据变为企业创新的新能源，助力企业新增长。私有云数据湖公有云数据湖 MRS DLI GES DWS 用户数据消费数据源调度流非严管数据调度流严管数据支撑业务主题 / 画像 / 指标的访问查询检索离线迁移第三方工具离线迁移实时接入实时接入第三方工具数据规范数据模型，约束规则数据质量质量规则、质量报告数据开发 Pipeline 开发、调度数据流分析应用高效探索能力全局治理能力快速开发能力敏捷可视能力自助分析能力数据流数据开放数据迁移数据接入行业模板智能数据湖运营平台 DAYU 快速开发数据可视全局治理共享开放 • 具有最优性价比的端到端技术平台，支持用户数据找得到，管得住 • 沉淀行业能力，快速构建数据中台，助力用户数据用得好智能数据湖行业模板 + 运营，一站式构建企业数据中台存储计算主题数据模型指标计算 Pipeline 行业数据算子行业应用模型指标定义指标内容数据标准不统一数据业务断层现状数据重复建设历史不可追溯数据标准系统化、流程化目数据需求全链路打通标数据研发自动化、无码化数据构建方法论行业标准元数据中心输入：业务数据化需求数据规范设计，基于华为数据体系建设方法论沉淀而成输出：标准化数据中台设计数据需求管理数据领域建模流程引擎指标定义 & 数据模型权限 & 安全指标发布 \ 下线一站式敏捷大数据开发治理，全流程可视治理资产开发服务 create table cars_no(filePath string, result array<struct<number:string, type:string>>) using ocr options ( path "obs://bucket1/wangfei/cars", ocrApiUrl "/v1.0/ocr/plate-number", ocrEndpoint "https://ais.cn-north-1.myhuaweicloud.com", ocrRegion "cn-north-1") Submit ID LogTime Number Color Loacation File 1 20180722 10:09:46 粤 B 12345 白坂田五和大道 obs://bucket1/ wang ei/cars/file002 f 2 20180722 10:09:46 粤 B 67890 黑坂田五和大道 obs://bucket1/ wang ei/cars/file002 f • 实时机器学习、深度学习，增强实时数据分析能力 • SQL 中调用各种机器学习算法和深度学习框架，降低 AI 能力使用门槛 • 使用 SQL 进行图片识别，快速完成非结构化数据处理 AI 能力与 SQL 融合，懂 SQL 就可以开发 AI 业务行业算子行业指标行业指标计算流程可复用的行业模板，加速数据价值发现流程行业主题数据模型行业数据标准业务对象中心（五大库）：产品、客户、合同、站点 / 网络、员工 Data Lake ： 800+ 对象 7000+ 实体 100+ 万属性 CNBG 数据 50% 进底座供应数据 95% 进底座 GTS 数据 60% 进底座产品数据 90% 进底座流程 IT 数据及其它 90% 进底座数据统一采集入湖推动数据入湖，实现内、外数据的获取构建五大库，实现五大关键业务对象数字化，实现数据同源，减少数据搬家重点建设大数据和人工智能平台， “ 数据获取→数字化→ 智能化”三步走案例：华为内部 IT 数据运营，助力华为“清洁数据的数字化运营蓝图” 数据地图数据统一入湖，实现 5 大业务对象的数字化流程域主题：经营、运营 RC 经营主题数据主题区域数据平面运营 (ITO/DSO) 合规 ( 内控 / 账实 ) 经营 ( 收入 / 成本 ) 业务实体 ( 项目合同 ) 数据湖 IT 主题 CNBG 销售企业运营消费者运营研发主题 HR 主题行政主题交付主题 ITR 主题供应主题采购主题人员主题库园区主题库车辆主题库设备主题库资产主题库组织主题库时空主题库资源主题库事件主题库智能数据湖运营平台 DAYU 数据 ETL 可视化开发任务调度管理权限管理智能数据湖底座接入园区个数100+ 构建园区8+ 个主题库主题库含 5000+ 属性数据集成开发从 15 天缩短到 1 天数据应用开发效率提升 50% 数据分析由 T+1 到实时数据来源公司管理数据业务子系统数据外部互联网数据 …… 园区智能运营中心 IOC 案例：智慧园区数据运