....................41 2.5.1 基于分布式数据库的交管数据查询索引处理方案..................................41 2.6 交管数据处理集群的可靠性与负载均衡设计................................................42 2.6.1 负载均衡处理机的单点失效容错处理.............. ........46 2.7 计算与存储集群的可靠性与负载均衡设计....................................................47 2.7.1 计算与存储集群 Master 单点失效容错处理...........................................47 2.7.2 计算与存储集群的负载均衡处理.............. 此外，用户从客户端发起以上各种数据查询分析任务时，也会产生大量并发的 查询任务。以上各种查询分析计算任务的处理将需要考虑在计算集群上进行并 行化任务调度和负载均衡处理。这些并行计算任务及负载均衡处理将使用 Zookeeper 基于计算集群完成统一的控制和实现。 在系统构架上，以上查询分析计算任务将需要使用一个大规模数据并行计 算集群。在编程实现上，存储在数据库中的数据将使用常规的数据库查询语言 实现；对存储在分布式文件系

....................................................................................... 27 4.3 分布式集群存储平台............................................................................................... 存放的文件超过一定数量甚至会造成文件查找效率急剧下降。 采用的分布式存储系统单卷可支持300PB以上的存储空间，高效的管理上千亿个文件， 单目录可以高效支持千万级的文件数量。分布式存储系统拥有高效的多元数据服务器集群 技术和高效的海量文件检索技术，在存放上千亿文件的同时保持极高的文件检索效率。统 能够在单个目录下高效管理上千万个文件的存储系统，在单目录下存放上千万数量文件时， 仍然能够提供每秒数万的文件检索效率。 源用户；而中间层的虚拟化系统 又起到了资源分配调度的作用。 部署虚拟化系统之后的整体架构和传统架构下是没很大区别的，利用共享存储实现数 据集中和共享，结合管理中心实现应用系统的统一管理；虚拟化集群的形成，直接为应用 系统提供了高可用和负载均衡的功能。 第 23 页 XXXX 税务大数据中心建设方案 4.2 云 计 算 中 心 虚 拟 化 组 件 4.2.1 迁 移 使运行中的虚拟

平台部署架构.........................................................................................90 4.2.1 集群节点..........................................................................................90 4.2 务平台。采用下一代先进的云计算关键技术与解决方案，强化公共服务。实现 电子政务系统的物理集中与应用管理的分散。实现应用系统按照需求，向“电子 政务云平台”动态申请计算与存储能力。充分发挥平台集群计算、集群存储、按 需使用、动态扩展的特性。为各级机关、企业提供计算、数据存储和灾备信息 资源服务，实现软硬件统筹规划、统一标准、集中部署、统建共用避免重复投 资  政务应用云化 构建可控安全 计算虚拟化是私有政务云平台的服务器虚拟化组件，是整个云平台架构的 核心组件。在提供基础计算资源的同时，支持 CPU 超分、嵌套虚拟化、RAW 镜 像文件、NUMA 优化、GPU 透传、虚拟机异常重启及集群平滑扩容等特性。 私有云平台计算虚拟化采用 KVM 和 Qemu 等 Hypervisor 组件及技术，将 通用裸金属架构的 x86/ARM 服务器资源进行抽象，以虚拟机的方式呈现给用 户。虚拟机将

....................................................................................60 6.3 分布式集群存储平台............................................................................................... 系统管理，实现服务器整合，让 IT 对业务的变化更具适应力，从而构建出数据中心系统 平台的基础。 VirtualCanter 管理服务器 服务器群 1 Y MN VI IP 网 络 EG5 集群存储 Web 浏宽器 VI Chient 服务器群 2 服务器群 3 图形终端 6.1.3 虚拟化拓扑的结构 图 6-3 虚拟化拓扑结构 针对上面的拓扑图，详细说明如下： 整体架构可以 户；而中间层的虚拟化系统又起 到了资源分配调度的作用。 部署虚拟化系统之后的整体架构和传统架构下是没很大区别的，利用共享存储实现数据 集中和共享，结合管理中心实现应用系统的统一管理；虚拟化集群的形成，直接为应用系统 提供了高可用和负载均衡的功能。 ApP

 一件巡检功能展示  虚拟机状态管理展示 第 15 页  异构芯片服务器资源管理 第 16 页  大屏动态监控展示  分布式存储资源管理展示 第 17 页  分布式存储集群拓扑展示 第 18 页  云操作系统基础设施资源展示 第 19 页 第2章 概述 2.1项目改造意义、改造目标及改造内容 2.1.1 改造目标 本项目定位为面向**市级电子政务 IT 全防护和电子政务云平台自身的安全防护。主要体现如下的几个方面： （1）底层结构安全，主要保障虚拟化平台架构层面安全； 主要参考传统安全防护体系进行保护，主要包括操作系统安全、交换机VLAN 划分、以及集群下存储安全及服务器双机热备，保障可靠性等； 服务器虚拟化安全：虚拟机管理器安全：服务最小化原则、内核模块完整性、 补定管理机制等；虚拟机安全：虚拟机安全隔离、访问控制、恶意虚拟机防护 （防地址欺骗、VM 功能归集为一 个一体化的管理平台，为系统管理、运维提供坚实的平台支撑。 3）多规格的服务能力需求 需要国产数据库云化服务提供多种规格的服务能力，包括提供单节点、并 行处理集群、主备集群、读写分离集群、共享存储集群等。 4）智能运维需求 能够满足智能运维的需求，包括服务能力随业务量弹性伸缩，自动故障恢 复，智能 SQL 计算优化等。 第 67 页 4.7.3.1.2 总体架构 数据库云服务系统是基于

 一件巡检功能展示  虚拟机状态管理展示 第 15 页  异构芯片服务器资源管理 第 16 页  大屏动态监控展示  分布式存储资源管理展示 第 17 页  分布式存储集群拓扑展示 第 18 页  云操作系统基础设施资源展示 第 19 页 第2章 概述 2.1项目改造意义、改造目标及改造内容 2.1.1 改造目标 本项目定位为面向**市级电子政务 IT 全防护和电子政务云平台自身的安全防护。主要体现如下的几个方面： （1）底层结构安全，主要保障虚拟化平台架构层面安全； 主要参考传统安全防护体系进行保护，主要包括操作系统安全、交换机VLAN 划分、以及集群下存储安全及服务器双机热备，保障可靠性等； 服务器虚拟化安全：虚拟机管理器安全：服务最小化原则、内核模块完整性、 补定管理机制等；虚拟机安全：虚拟机安全隔离、访问控制、恶意虚拟机防护 （防地址欺骗、VM 功能归集为一 个一体化的管理平台，为系统管理、运维提供坚实的平台支撑。 3）多规格的服务能力需求 需要国产数据库云化服务提供多种规格的服务能力，包括提供单节点、并 行处理集群、主备集群、读写分离集群、共享存储集群等。 4）智能运维需求 能够满足智能运维的需求，包括服务能力随业务量弹性伸缩，自动故障恢 复，智能 SQL 计算优化等。 第 67 页 4.7.3.1.2 总体架构 数据库云服务系统是基于

........................................................................................157 4.2.1 集群节点................................................................................................. ....................................................................................180 4.3.1.1.7 集群平滑扩容............................................................................................... ..................................................................................190 4.3.1.3.2 存储集群...................................................................................................

.................................21 2.3.11 集群GPS定位...........................................................................................22 2.3.12 集群通讯功能......................................... 支持一键紧急呼叫...................................................................................22 2.3.14 支持集群通讯预案...................................................................................22 2.3.15 支持外接环境数据采集器 如：身份证识别器等）、提 供SDK、IP67、外接摄像头定制（如：手持摄像头、安全帽摄像头等）。  增强型多媒体集群通讯功能 - 视频PTT功能：720p高清视频。 - 宽频语音PTT功能：20kHz宽频语音。 - 强插、强拆、广播等集群调度。 - 多方互动讨论型集群通讯。 - 支持PTT一键呼叫，只需要按一个键即可对个人或群组发起通话。  完善通信手段 - 点对点高清视频通讯：720p高清视频。

2.2.2 统一资源管理和调度框架 YARN 为了实现一个 Hadoop 集群的集群共享、可伸缩性和可靠性,并 消除早期 MapReduce 框架中的 JobTracker 性能瓶颈,开源社区引入 了统一的资源管理框架 YARN。 YARN 分层结构的本质是 ResourceManager。这个实体控制整 个集群并管理应用程序向基础计算资源的分配。ResourceManager 将 各 ApplicationMaster 存在错误或者甚至 是恶意的，因此将它们当作无特权的代码对待。 NodeManager 管 理 一 个 YARN 集 群 中 的 每 个 节 点 。 NodeManager 供针对集群中每个节点的服务,从监督对一个容器的 终生管理到监视资源和跟踪节点健康。通过插槽管理 Map 和 Reduce 任务的执行,而 NodeManager 管理抽象容器，这些容器代 表着可供一个特定应用程序使用的针对每个节点的资源。 SparkSQL、MLib、GraphX、SparkStream，可以在一个 应用中方便的将这些工具进行组合  与 Hadoop 集 成 ： Spark 能 够 直 接 运 行 于 Hadoop2.0 集群，并且能够直接读取现存的 Hadoop 数据。 尤其 Spark 和大数据平台紧密结合,可以通过软件管理部署 安装 Spark 28 Spark 提供了一个快速的计算、写入以及交互式查询的框架。

要求业务库表应 具有主键标识。 全量接入适用于低频率(天、周、月)的，对数据变更时效性不敏感的接入 场景，用于在平台建设完成初期进行历史数据的迁移，将大量的基础数据和历史 数据导入平台集群。 2.3.1.1.2.2. 增量接入 周期性从数据库表中获取最新数据并交换到目标节点的接入方式。增量接入 适用于高频率(秒、分)的、对数据变更时效性敏感的接入场景，用于系统上线 后将 的 数据同。 4. 支持通过 Kafka 等方式读入流数据。 5. 支持跨集群的数据导入。 (三)数据导出 1. 可以直接导出数据至传统关系数据库 2. 导出多种数据格式，支持大数据服务中台中所有类型的表，普通 ORC,ORC 交易表，HBase,ES 表等。 3. 支持跨集群导出 (四)数据转换 实现数据的清洗，加工，包括但不限于字段映射功能、数据关联、集合操 、HDFS 、Search 、DB2 、Oracle。 2.4.2. 分布式 NewSQL 数据库 分布式 NewSQL 数据库用来解决企业级用户经济灵活高效地管理数据的需 求，可以在普通廉价服务器集群上实现 PB 级别数据量的高效在线 OLTP 应用、 高 并发 OLAP 应用、批处理应用、流处理应用、全文搜索或高并发图形数据库 检索 应用。同时，支持以标准 SQL 为接口的高效数据访问，并自带高效的数据