智能探测系统气象大数据平台建设技术方案（118页 WORD）

微信扫码，打开到小程序

智能探测系统- XX 气象+大数据平台建设 技术规范书 I 目 录 第一章 项目概述.......................................................................................1 1 项目名称.............................................................................................................1 2 项目建设单位.....................................................................................................1 3 项目建设内容、建设期......................................................................................1 3.1 建设内容.....................................................................................................1 3.2 建设周期.....................................................................................................3 第二章 项目建设方案...............................................................................4 1 XX 气象+大数据平台建设..................................................................................4 1.1 建设内容.....................................................................................................4 1.2 气象+大数据平台 PaaS 层.........................................................................5 1.3 气象+大数据资源层建设.........................................................................79 1.4 数据及系统迁移方案设计........................................................................83 2 信息安全系统设计...........................................................................................84 2.1 概述...........................................................................................................84 2.2 系统定级...................................................................................................85 2.3 系统安全建设原则...................................................................................86 2.4 安全保障策略设计...................................................................................87 2.5 备份系统设计...........................................................................................88 2.6 数字 XX 云平台安全.................................................................................89 3 平台全可控设计...............................................................................................90 3.1 国产化软件适配.......................................................................................90 3.2 国产密码...................................................................................................90 3.3 物理层面...................................................................................................90 3.4 网络层面...................................................................................................90 3.5 应用和数据层面.......................................................................................91 II 3.6 终端...........................................................................................................91 3.7 商用密码产品清单...................................................................................91 4 运行维护方案设计...........................................................................................92 4.1 运行维护主要内容...................................................................................92 4.2 其他需要说明的问题...............................................................................94 第三章 项目组织机构和人员培训.........................................................95 1 培训目标..........................................................................................................95 2 培训目的..........................................................................................................95 3 培训原则..........................................................................................................96 4 培训方式..........................................................................................................96 5 培训内容..........................................................................................................97 6 培训计划..........................................................................................................98 7 培训地点..........................................................................................................98 附表 1 XX 气象+大数据平台系统开发内容.......................................99 附表 2 数据及系统迁移内容............................................................114 第 1 页 共 114 页 + 第一章 项目概述 1 项目名称 本项目是“智能探测系统”中 XX 气象+大数据平台建设部分，名称为：智能探测系统-XX 气 象+大数据平台。 2 项目建设单位 项目建设单位：XX 市气象信息与技术保障中心 项目建设单位地址：XX 市渝北区新牌坊一路 68 号 3 项目建设内容、建设期 3.1 建设内容 天枢·智能探测系统-XX 气象+大数据平台建设内容如下： （1）建成 XX 气象+大数据平台。对接数字 XX 云平台和中国气象局天擎系统，到 2022 年 力争建成 3PB 多源气象+大数据存储和“数算一体”XX 气象+大数据平台，支撑“云+端”业务模 式，在该模式下，气象+大数据平台按照“一平台两功能”的设计，构建微服务架构，不断推进 和完善气象+大数据平台服务能力建设，支撑实现数据资源中心和数据服务中心两大功能；同 步推进气象数据超市建设，实现实时上线、滚动更新、快速配送的产品服务。 建设内容及分期详见下表所示。 表 1.3-1 建设内容汇总表 1 XX气 象 大 数 据 平 台 气象+大数据汇交子系统 数据处理，数据采集，数据表管理，可视化 ETL，资 源目录管理 2 气象+大数据存储子系统 数据管理，数据存储结构设计，数据存储模块（分 布式数据库数据仓库、对象存储、分布式文件系统）， 存储容量管理，存储趋势分析 3 气象+大数据治理子系统 元数据管理，数据标准管理，数据质量控制模块， 可视化数据同步模块，数据生命周期管理模块 4 气象+大数据应用子系统 数据计算模块，地面常规气象数据统计模块，气象 第 2 页 共 114 页 产品加工模块，数据支撑服务，气象行政数据支撑 模块 5 气象+大数据容器化应用 管理子系统 应用市场，在线服务，任务调度编排 6 气象+大数据服务子系统 业务功能服务接口命名规范，业务功能服务接口开 发规范，服务接口管理，业务功能服务接口完善， 业务功能服务接口认证，业务功能服务接口代理 7 运维管理系统 平台管理，基础设施监视，数据库监视，任务调度 监视，数据流监视，服务接口监视，数据可视化 8 安全保障系统 物理安全，网络安全，应用安全，数据备份及恢复 9 统一工作桌面 Web 端，大屏展示端，app 管理端，统一入口 10 大数据基础中间件 分布式计算服务化引擎，分布式计算缓存系统，端 到端算法，智能算法集成 11 气象大数据资源层 气象大数据资源层数据归集区，气象大数据资源层 数据成果区，气象大数据资源层数据产品库，气象 大数据资源层共享交换库 12 数据建模 充分了解现有气象业务数据资源情况，按照总体架 构建立各层次的数据库模型及关联关系。 13 数据初始化 在完成 XX 气象大数据数据资源层数据建模的基础 上，按要求配置数据抽取任务将数据自动增量抽取 进入气象大数据资源数据库，对数据进行清洗、关 联。 14 数据汇聚 搭建成熟、稳定的数据汇聚工具对数据进行自动采 集，并实现气象大数据数据资源层各库之间的数据 流转；建设可视化平台对数据抽取、规则定制、运 维等提供可视化操作工具。 15 数据治理 搭建成熟、稳定的数据治理工具，提供可视化界面 对数据进行清理、关联、加工、规则定义、审核等 功能，并依托该工具完成指气象数据治理工作； 16 系统迁移 结合目前现状以及“四天”业务规划，编制数据迁移计 划、明确数据迁移对象并进行迁移实施。完成现有 数据服务平台的迁移，包括数据环境迁移、数据服 务接口迁移、历史气象数据和产品迁移。迁移过程中 要做好迁移保障，最终完成现有气象“四天” 业务系统的迁移。 17 气象+大数据平台规划 完成气象+大数据基础云平台规划。通过现状调研， 实现对数据源调研与探查。进行数据资产梳理、以 及针对元数据、数据质量、数据标准进行数据治理。 第 3 页 共 114 页 并针对平台建设后新 IT 项目建设流程、审核机制进 行 IT 治理工作。 3.2 建设周期 本项目从合同签订日起 18 个月内完成项目建设，包括但不限于开发、部署调试、试运行 及项目竣工验收等工作。项目通过竣工并投入运行后，中标单位需配合建设单位在 12-24 个 月内完成项目后评价。 第 4 页 共 114 页 第二章 项目建设方案 1 XX 气象+大数据平台建设 1.1 建设内容 表 2-1 XX 气象+大数据平台建设内容表 序号 建设项目 项目内容 1 气象+大数据平台 PaaS 层 1） 气象大数据平台基础架构搭建 2） 气象+大数据汇交子系统 3） 气象+大数据存储子系统 4） 气象+大数据治理子系统 5） 气象+大数据应用子系统 6） 气象+大数据容器化应用管理子系统 7） 气象+大数据服务子系统 8） 运维管理系统 9） 安全保障系统 10） 统一工作桌面 2 气象大数据资源层 1） 气象大数据资源层数据归集区 2） 气象大数据资源层数据成果区 3） 气象大数据资源层数据产品库 4） 气象大数据资源层共享交换库 2.1 数据建模 充分了解现有气象业务数据资源情况，按照总体架构建立各层 次的数据库模型及关联关系。 2.2 数据初始化 在完成 XX 气象大数据数据资源层数据建模的基础上，按要求配 置数据抽取任务将数据自动增量抽取进入气象大数据资源数 据库，对数据进行清洗、关联。 第 5 页 共 114 页 序号 建设项目 项目内容 2.3 数据汇聚 搭建成熟、稳定的数据汇聚工具对数据进行自动采集，并实现 气象大数据数据资源层各库之间的数据流转；建设可视化平台 对数据抽取、规则定制、运维等提供可视化操作工具。 2.4 数据治理 搭建成熟、稳定的数据治理工具，提供可视化界面对数据进行 清理、关联、加工、规则定义、审核等功能，并依托该工具完 成气象局各类数据数据治理工作； 对气象大数据数据资源层各库、各数据抽取任务、共享交换服 务的； 元数据进行统一的管理。包含元数据生成、规则制定、发布、 版本控制、管理、查询统计、权限配置等功能；完成已初始化 业务数据的元数据建设工作。 1.2 气象+大数据平台 PaaS 层 1.2.1 大数据基础中间件 在完成大数据平台存储环境、基础分布式计算环境搭建后，需要进一步丰富应用中间件， 实现各个系统在大数据环境中的统一整合，包括实时流式数据处理、业务数据同步、数据可视 化清洗、数据可视化大屏等；通过业务应用中间件系统的建设，提升业务系统大数据应用能力。 1.2.1.1 分布式计算服务化引擎 分布式计算引擎，为数据处理提供了弹性、容错、高可用的环境，但对于需要实时大数 据分析计算的应用来说，还需要一套与普通应用融入整合的数据计算服务。 分布式计算服务化引擎，通过将大数据处理、分析计算的能力以 Rest 接口的方式对外暴 露，实现了数据计算的服务化；通过该服务，应用系统可通过简单的接口调用，实现在分布 式环境中数据处理。 第 6 页 共 114 页 计算服务引擎包括以下核心功能： （1） 支持负载均衡、容错的计算服务接口，提供 Rest 接口； （2） 多语言服务计算调用压缩包，包括 java、python 等主流语言； （3） 函数注册服务； （4） 应用日志、异常日志； （5） 支持串行调用、并行调用； （6） 支持同步调用、异步调用； （7） 计算任务进度监控、状态监控、结果获取； （8） 采用分布式计算框架提供大规模数据存储与计算，可按需扩容； （9） 支持高效数据压缩存储，节约存储成本； （10） 具备完善的权限认证与隔离机制，保障数据的私密性。 1.2.1.2 分布式计算缓存系统 分布式计算环境中，针对数据使用频度，对部分数据进行预计算、预先缓存或在计算过 程中进行缓存，都可大大提升数据加载、计算效率；当业务系统不断扩展、任务数量不断增 多时，通过人工维护数据缓存将变得愈发困难。 为了提高计算效率、数据缓存自动化能力，大数据平台应构建统一的分布式计算基础缓 存系统，通过统一的缓存系统，实现多系统缓存数据共享、多系统数据缓存交换、统一数据 缓存结构、自动化数据缓存生命周期管理、对应用开发接口缓存透明。 分布式计算缓存包含以下主要功能: （1） 文件系统缓存层：缓存系统提供文件缓存服务，该服务可实现文件加载与缓存、文 件缓存生命周期管理； （2） 结构化数据缓存层：缓存系统提供显示的数据库表缓存加载、缓存清理功能，用户 可通过 api 透明调用缓存数据； （3） 统一的数据缓存结构：通过统一缓存调用接口、缓存数据结构，实现多任务、多应 用间缓存数据共享交换； 第 7 页 共 114 页 （4） 缓存管理与监控：提供缓存数据监控、缓存数据人工加载与清理、缓存加载与清理 策略管理等。 1.2.1.3 端到端算法模块 算法管理平台，提供从算法开发选择、模型训练跟踪，最优模型对比选择、模型发布管 理到最终模型部署一整套的算法开发生命周期管理。平台作为大数据平台的基础算法管理发 布平台，统一管理所有相关算法，并提供一站式开发调试管理及部署方案。 算法管理平台，提供从算法开发选择、模型训练跟踪，最优模型对比选择、模型发布到 最终模型部署一整套的算法开发生命周期管理。 平台应包含以下核心模块： 算法管理、训练数据集管理、