【案例】创新驱动，烟草行业新一代大数据中心建设方案

微信扫码，打开到小程序

创新驱动，烟草行业新一代大数据中心建设方案 SAP 中国 今日话题  大数据中心与企业数据成熟度  SAP 建议的大数据平台架构  数据交换平台  数据仓库平台  数据管控平台  数据的展现不可视化 © 2016 SAP SE or an SAP affiliate company. Allrights reserved. 信息化建设总体思路 IT 基础设施蓝图设 计 信息化现状分析 业务蓝图设计 信息化应用蓝图 及管控体系设计 IT 基础设施现状分 析 业务架构现状分析 业务诊断及 高阶提升建议 管理诊断 信息化总体方案设计 IT 基础设施总体方案设计 业务高阶提升建议 信息化应用蓝图 IT 基础设施蓝图 未来五年管理 提升和信息化 建设方案 管理提升项目 信息化应用系统建设项目 IT 基础设施建设项目 信息化实施路线设计 在信息化总体规划建设的指导下，从 I T 管理和信息化现状 出发，按照“总体规划、分步实施”的原则开 展信息化总体方案设计，以指导未来 3-5 年信息化建设，为满足业务不断发展、建设国内一流综合企业 提供全面的支撑。 © 2016 SAP SE or an SAP affiliate company. Allrights reserved. 基础设施总体设计原则 4 业务架构 应用 架构 数据 架构 IT 基础设施总体设计原 则  业务导向原则 从业务应用需求出发，构建一套安全、高效的 IT 基础设施，全面支 撑 日常办公和生产经营管理，能够快速满足管理和业务创新的需要。  标准化原则 借鉴国内外先进的 IT 技术和管理标准、最佳实践，结合实际情况， 推 进 IT 设备标准化、 IT 服务和管理标准化建设，提升系统的开放 性、可 维护性，降低采购成本，提高 IT 运维效率和客户满意度。  高性价比原则 IT 基础设施建设应考虑适度超前，采取国内外先进软硬件选型策略 提 高系统的总体性价比，在充分利用好现有投资的基础上通过虚拟 化、 云计算等新技术应用提升 IT 基础设施的弹性和灵活性，提升 IT 基础设 施资源利用效能。  丏业化与社会化原则 推进 IT 基础设施建设、运维和管理的与业化，对社会化程度高的非 核 心 IT 业务采取社会化运营模式，实现不主营业务的全面剥离，丌 断提 升 IT 服务和管理的与业化水平。 IT 基础设施架 构 © 2016 SAP SE or an SAP affiliate company. Allrights reserved. 大数据中心的能力 高性能、处理大数据的能力 应对实时分析需求的能力 复杂的数据运算和预测 能力 存储空间的合理利用能力 适应物联网和云计算能力 © 2016 SAP SE or an SAP affiliate company. Allrights reserved. 大数据中心总体设计思路 机房 计算不存储资源 云服务 备份不容灾 © 2016 SAP SE or an SAP affiliate company. Allrights reserved.  进一步完善机房建设标准和规范，适时整合和改造现有机房，减少 机房总体数量，采取集中监控运维方式降低整体运维成本  梳理现有计算和存储资源，通过虚拟化技术构建计算不存储资源池， 实现主机不存储资源的安全、高效和共享利用；  在条件成熟时，启劢私有云建设，为各类业务系统提供敏捷、高效 和弹性的基础设施服务  云服务是通过网络以按需、易扩展的方式获得所需服务，云服务可 与 IT 和软件、互联网相关，也可是其他服务。按照云服务 SLA 服务 等 级，云服务计算能力可作为一种商品通过互联网进行流通  备份：制定数据备份规范和策略，建立数据备份系统  容灾：根据集团容灾建设进展和相关要求，适时制定数据级和应用 级容灾建设方案，建立数据中心容灾系统 数据中心实现对企业数据信息的集中处理、存储、传输、交换和管理，是企业的核心资产，必须要给予 充分的重视，以保障公司各类业务应用安全、可靠、稳定地运行。 企业数据成熟度分析， 每提高一个成熟度，将带来巨大的业务价值 无知 不具备大数据功 能 应对 只有部分关键绩 效历史数据分析， 无统一标准 了解 监测现有业务的 整体运行状况， 一定的业务预警 功能 管理 具备一定的预测 洞察能力，对特 定业务领域提出 改善业务绩效的 行动建议 创新 大数据技术与业 务运营融合，利 用大数据预测成 果自动优化和提 升业务 业务场景成熟度 © 2016 SAP SE or an SAP affiliate company. Allrights reserved. 大数据发挥的业务价值 最难跨越的阶段 提高数据成熟度，发挥大数据价值，应从五个方面入手 大数据 场景 人员、 技能和 文化 数据治 理 信息和 应用架 构 标准和 流程 建立数据场景或 KPI 体系 © 2016 SAP SE or an SAP affiliate company. Allrights reserved. 组织架构创新，以适 应大数据发展需要 进行数据质量、元 数据治理 建立统一的可扩展 大数据分析平台 数据流程和制度标 准化 数据交换平台 流数据 (ESP) 数据复制 (SRS) ETL (Data Services) ESB (PI) 数据管控平台 主数据治理 (MDG) 元数据管理 ( 信息管家 ) 数据质量管理 (Data Quality) 数据标准管理 数据安全管理 企业级数据仓库平台 SAP HANA 分析 SAP BusinessObjects BI 探索 , 仪表盘 , 报表 , 图表 , 可视化 SAP Lumira 数据 分析 与可 视化 SAP Predictive Analysis 预测分析 SAP 大数据平台建议架 构 历叱数据、非机构化数据 Hadoop 分布式文件系统 Hive Pig Spark 扩展数据层（冷存储） 热表 扩展存储 结构化 ( 定义 ) 实时数 据 结构化 扩展表 SDA 历叱数据 磁盘数据 vUDF Vora Models / PAL / R 温存储（劢态分层） 热存储（内存计算） 数据老化 自劢搬移 DLM CRM 数据 ERP 数据 SEM 数据 SRM 数据 PDM PMIS EAM OA 外部数据 源 © 2016 SAP SE or an SAP affiliate company. Allrights reserved. SAP 移劢平台 (BI Mobile, Mobile Application 企业大数据温度 数据在架构中的存储分布 © 2016 SAP SE or an SAP affiliate company. Allrights reserved. 数据温度 产品 数据 特点 可能操作 热数据 （内存存储） SAP HANA 内存 即时分析要求的结构化数据和 流数据，比如 ERP 中的数据 存储在 HANA 内存中 . 热数据频 繁 访问，较高性能要求 写、读、更新和删除 温数据 （硬盘存储） SAP HANA 动态分层 大数据或者 PB 级数据扩展 - 适 合不需要内存实时处理的数 据， 比如：预测性维护场景需 要的 主要设备实时数据 与热数据在统一的 HANA 平台 中 . 温数据是相对时间久不太常 查询 的数据， 但是需要在线访 问 写、读、更新和删除 冷数据 （扩展存储） Hadoop （文件存储） • 结构化数据：如超过三年以 上的财务数据 • 大部分实时数据 • 大部分非结构化数据 • 已经关闭或者不用的数据可以 从热存储和温存储迁移到冷存 储 • 存放实时数据和非结构化数 据， 可无限扩展，降低成本 写，读、删除 数据的温度是随时间劢态变化的，而丏并丌是同类型数据只存在一个存储空间，要看具体的业务场景和 数据价值，比如实时数据丌只是在温存储中，也可以在 HANA 内存中， HANA 也有处理时间序列的功能。 数据交换平台 流数据 (ESP) 数据复制 (SRS) ETL (Data Services) ESB (PI) 数据管控平台 主数据治理 (MDG) 元数据管理 ( 信息管家 ) 数据质量管理 (Data Quality) 数据标准管理 数据安全管理 企业级数据仓库平台 SAP HANA 分析 SAP BusinessObjects BI 探索 , 仪表盘 , 报表 , 图表 , 可视化 SAP Lumira 数据 分析 与可 视化 SAP Predictive Analysis 预测分析 SAP 大数据平台建议架 构 历叱数据、非机构化数据 Hadoop 分布式文件系统 Hive Pig Spark 扩展数据层（冷存储） 热表 扩展存储 结构化 ( 定义 ) 实时数 据 结构化 扩展表 SDA 历叱数据 磁盘数据 vUDF Vora Models / PAL / R 温存储（劢态分层） 热存储（内存计算） 数据老化 自劢搬移 DLM CRM 数据 ERP 数据 SEM 数据 SRM 数据 PDM PMIS EAM OA 外部数据 源 SAP 移劢平台 (BI Mobile, Mobile Application © 2016 SAP SE or an SAP affiliate company. Allrights reserved. SAP HANA Smart Data Access SAP ESP - Event Stream Processor SAP Data Services SAP SRS - Replication Server SAP LT Replication Server SAP SQL Anywhere 仸何数据源 数据迁移 转换和持续数据 事件流 数据同步 数据虚拟化 ODBC SAP HANA Virtual Tables 数据源 (SP6: HANA, IQ, ASE, Hadoop, Teradata) 网络设备 – 有线 / 无 线 复杂事件 数据源 非 SAP 数据 源 云部署 SAP Business Suite 基于触发器 © 2016 SAP SE or an SAP affiliate company. Allrights reserved. 基于日志 ETL, 批 强大的数据提供平台 SAP 的数据服务方案 全面考虑数据集成 , 数据质量管理 , 数据切面及非结构化数据获取问 题 支持访问全部关键业务数据 ( 仸意数据源 , 类型和领域 ), 一体化平台全面解 决数 据的清洗、排重、归幵、衍生、合幵、统计、汇总等一系列数据加工 问题 结构数 据 非结构数 据 业务界面 统一的元数据 一个运行时架构及 一系列服务 技术界面 数据服务解决方案包 数据抽取 数据质量 数据切面 文本分析 统一的管理环境 ( 调度 , 安全 , 用户管 理 ) 一套源 / 目标 各类型数据库：  Oracle  DB2  Sybase ASE  Sybase IQ  SQL Server  Informix  MySQL  Teradata  HP NeoView  Netezza  ODBC  SAP HANA 全面接口支持 © 2016 SAP SE or an SAP affiliate company. Allrights reserved. 各类型技术接口：  Text delimited  Text fixed width  EBCDIC  XML  Cobol  Excel  HTTP  JMS  SOAP (Web Services)  JSON 数据交换平台 流数据 (ESP) 数据复制 (SRS) ETL (Data Services) ESB (PI) 数据管控平台 主数据治理 (MDG) 元数据管理 ( 信息管家 ) 数据质量管理 (Data Quality) 数据标准管理 数据安全管理 企业级数据仓库平台 SAP HANA 分析 SAP BusinessObjects BI 探索 , 仪表盘 , 报表 , 图表 , 可视化 SAP Lumira 数据 分析 与可 视化 SAP Predictive Analysis 预测分析 SAP 大数据平台建议架 构 历叱数据、非机构化数据 Hadoop 分布式文件系统 Hive Pig Spark 扩展数据层（冷存储） 热表 扩展存储 结构化 ( 定义 ) 实时数 据 结构化 扩展表 SDA 历叱数据 磁盘数据 vUDF Vora Models / PAL / R 温存储（劢态分层） 热存储（内存计算） 数据老化 自劢搬移 DLM CRM 数据 ERP 数据 SEM 数据 SRM 数据 PDM PMIS EAM OA 外部数据 源 SAP 移劢平台 (BI Mobile, Mobile Application © 2016 SAP SE or an SAP affiliate company. Allrights reserved. 数据仓库解决方案构成  数据仓库平台产品  数据存储、管理服务器  抽取、转换、清洗和装载工具  数据仓库设计工具  数据字典（元数据）的管理工具  数据分析和展现工具 速度 简单 清晰 功能 方便 © 2016 SAP SE or an SAP affiliate company. Allrights reserved. SAP HANA 平台 预置型 | 云 | 混合型 基于 HANA 的大数据平 台 空间 图 预测 搜索 文本分析 规划 数据强化 序列数据 函数库 处理服务 Web 服务 器 JavaScript Fiori 用户界面 图形建模器 应用服务 ALM 应用生命周期 管理 列存储内存数据 库 OLTP+OLAP 多核大规模并行 计算 高级压缩 多租户 劢态分层 存储 数据库服务 高可用性和灾难恢复 数据模型 开放的标准 数据虚拟化 ELT 和复 制 集成服务 Hadoo p 集 成 流处理 (CEP) 远程数据同步 © 2016 SAP SE or an SAP affiliate company. Allrights reserved. HANA 大数据平台的数据存储 层 如何有效区别各数据层次 操作类型  日常运行的业务应用，分析操作 和统计报表  实时分析  复杂的分析、预测等  密集型计算 数据特征  当前活跃数据  信息单位价值高的业务数据 管理数据量  管理数据规模在几十个 TB 量 级 内存管理 动态分层 Hadoop 企业级海量数据存储  低成本的数据存储、通用硬件  高度灵活、可扩展架构 数据特征  大量非结构化 / 半结构化数据， 社交媒体和外部数据  非活跃，批量处理数据  信息单位价值相对不高的业务 数据 数据移动（同前） 管理数据量  管理数据规模可达到 PB 级 HANA 的磁盘级处理引 擎 数据特征  历史数据为主  近实时的分析场景  信息单位价值较高的业务数据 数据移动（ Data Lifecycle Mgt. ）  定义数据分割 / 分区策略  按照规则在内存和硬盘引擎间 移动数据 管理数据量  管理数据规模在几百个 TB 以 内 SAP HANA SAP HANA HAN A RAM DT 数据的温度是随时间劢态变化的，而丏并丌是同类型数据只存在一个存储空间，要看具体的业务场景和 数 据价值，比如实时数据丌只是在温存储中，也可以在 HANA 内存中， HANA 也有处理时间序列的功 能。 © 2016 SAP SE or an SAP affiliate company. Allrights reserved. © 2016 SAP SE or an SAP affiliate company. Allrights reserved. 18 扩展的 应用服务 SAP 数据管理 为实时业务打造的端到端数据管理和应用平台 OLAP SAP SQLA 移劢与嵌入式数据库，提供 交付到决策点和有效建立新 物联网应用 SAP ESP 复杂事件处理服务器，为新 型实时应用过滤和实时分析 高容量的流数据 . OLTP SAP Data Services 一流的集成产品包，在核心 业务系统中帮劣高效地迁移、 增强和管理数据 SAP ASE 关系型数据库，可支持极高 的交易应用。具有最好的 TCO 和性价比 SAP HANA 平台 数据库服务 (OLTP + OLAP) SAP HANA PLATFORM 内存计算与处理平台，实时交易 + 端 到 端 分 析 提供统一和简 单化 定制化应用 移劢应用 分析 / BI 应 用 ERP 应用 大数据 / 物联网应 用 SAP Replication Server 为高可用 / 灾备 (HA/DR) 和 实时数据分布式应用提 供数 据迁移和同步的复制 解决方 案 集成服务 SAP IQ 列式数据库，有能力做到 极大的企业级数据仓库 (EDW) 和以最佳 TCO 实 现 大数据分析 应用功能库和数据模型 处理引擎 应用开发 统一管理 数据交换平台 流数据 (ESP) 数据复制 (SRS) ETL (Data Services) ESB (PI) 数据管控平台 主数据治理 (MDG) 元数据管理 ( 信息管家 ) 数据质量管理 (Data Quality) 数据标准管理 数据安全管理 企业级数据仓库平台 SAP HANA 分析 SAP BusinessObjects BI 探索 , 仪表盘 , 报表 , 图表 , 可视化 SAP Lumira 数据 分析 与可 视化 SAP Predictive Analysis 预测分析 SAP 大数据平台建议架 构 历叱数据、非机构化数据 Hadoop 分布式文件系统 Hive Pig Spark 扩展数据层（冷存储） 热表 扩展存储 结构化 ( 定义 ) 实时数 据 结构化 扩展表 SDA 历叱数据 磁盘数据 vUDF Vora Models / PAL / R 温存储（劢态分层） 热存储（内存计算） 数据老化 自劢搬移 D