. 20 .1 基础库 20 .2 主题库 21 .2.1 建立完善行业大数据技术标准 21 .2.2 项目库的建立 21 .2.3 投资人数据库的建立 22 .2.4 产权交易机构资源库的建立 23 .3 分析库 24 .4 索引库 24 第 5 章 数 据 处 理 25 . 数据集成系统（ETL）介绍 采用支持关系型数据库、分布式全文数据库、分布式文件系统的 ETL 工具作为数据集成工具。利用多主机集群分布式部署数据集成工具，同 时并发处理大量数据抽取、数据清洗转换处理和数据装载任务，将各种 源数据装载到指定位置。 源数据库 数据集成引擎 配置管理 统一监控 源数据库 数据集成引擎 数据仓库 源数据库 数据集成引擎 …… 源数据库 数据集成引擎 数据集成工具提供 载到若干个目标数据库。从而实现按照统一的规则集成数据，有效提高数据 质量、价值。产品由管理中心和在线设计器组成。管理中心用于管理整个 系统的用户信息、系 统信息、网络信息，以及建立业务，并进行业务控制和运行监视；在线 设计器用于调用各种控件建立转换和作业。 .2.2 主要功能特点 1) 支持大数据架构：可将将数据库数据以 RCFlie 格式写入 HDFS。同时支 持大数据库，能够将增量数据写入大数据库。

.........................................................................................9 2.2.1 数据库建设需求............................................................................................... 系统功能结构设计..........................................................................................31 5 数据库设计................................................................................................. ........................................................................................64 6.1.1 数据库管理组件 EzSpatial.....................................................................................

物联网 平台 汇聚 整合 共享 应用 展示 评价 六位一体大数据资源体系 数据归 集管理 系统 拟建区级大数据资源平台（一期）项目是 加快整合本区现有数据共享交换平台、数 据资源目录和基础数据库等与大数据资源 平台相关的平台的基础上，进行整体架构 的重新部署和功能模块的全面升级，在满 足与市大数据资源平台的对接，并承接市 大数据资源平台的落地数据资源，同时， 归集全区内各单位公共数据资源，按需实 求，同时通过电子政 务外网、互联网、物 联网、专网等网络的 互联互通环境需求。 标 准 规 范 需 求 安 全 保 障 需 求 •物理安全 •网络层安全 •系统层安全 •应用系统安全 •资源数据库数据涉及部门 多，且存在跨部门、跨系 统的数据交换，各系统建 设难免出现异构现象，数 据格式、类型不一致，数 据质量问题突出。统一标 准是各局点之间互联互通、 信息共享、业务协同的基 录管理，形成对数据全生命周期管理及各环节安全监管。 • 通：实现基于应用场景的数据资源授权管理机制，推动 公共数据按需充分共享。实现数据分级分类开放管理， 扩展共享交换平台功能。 • 用：开展主题数据库建设，推动数据资源整合及数据分 析应用。开展数据应用模型及算法研究，探索数据服务 模式创新；推进区级跨部门的数据智能应用。 • 安：打造整体安全管控体系，保证平台上政务数据在数 据汇聚、数据管理、数据共享、数据开放等全生命周期

大 数 据 平 台 气象+大数据汇交子系统 数据处理，数据采集，数据表管理，可视化 ETL，资 源目录管理 2 气象+大数据存储子系统 数据管理，数据存储结构设计，数据存储模块（分 布式数据库数据仓库、对象存储、分布式文件系统）， 存储容量管理，存储趋势分析 3 气象+大数据治理子系统 元数据管理，数据标准管理，数据质量控制模块， 可视化数据同步模块，数据生命周期管理模块 4 气象+大数据应用子系统 气象+大数据服务子系统 业务功能服务接口命名规范，业务功能服务接口开 发规范，服务接口管理，业务功能服务接口完善， 业务功能服务接口认证，业务功能服务接口代理 7 运维管理系统 平台管理，基础设施监视，数据库监视，任务调度 监视，数据流监视，服务接口监视，数据可视化 8 安全保障系统 物理安全，网络安全，应用安全，数据备份及恢复 9 统一工作桌面 Web 端，大屏展示端，app 管理端，统一入口 数据成果区，气象大数据资源层数据产品库，气象 大数据资源层共享交换库 12 数据建模 充分了解现有气象业务数据资源情况，按照总体架 构建立各层次的数据库模型及关联关系。 13 数据初始化 在完成 XX 气象大数据数据资源层数据建模的基础 上，按要求配置数据抽取任务将数据自动增量抽取 进入气象大数据资源数据库，对数据进行清洗、关 联。 14 数据汇聚 搭建成熟、稳定的数据汇聚工具对数据进行自动采 集，并实现气象大数据数据资源层各库之间的数据

，传统技术很难满足数据采集、数据 处理、数据存储和数据挖掘等需求。  提供数据仓库技术、物联网技术、视频平台技术、 PGIS 技术集成和协通工作方案。 基于 B/S 架构、 ORACLE 数据库平台、 WEBSPHERE 中间件平台，以 JAVA 为主要开发编程语言，系统使用范围局限于电脑端的访问，而社区网格 民警的大部分的工作时间、地点是在访查现场，采集的数据无法在现场 录入系统， 造 成重复工作。 主要问题  系统互动性差、数据采集滞后、数据比对依赖人工、指令下达滞后、管理滞后。  系统交互性差、存在信息孤岛、系统容灾型弱、系统依赖收费软件、数据 oracle 数据库。 未来挑战 当前现状 社区警务系统问题 公安社区警务工作具有很强的移动性、突发性、 紧急性和时效性，对工作效率、反应速度、应变 能力有着更高要求。目前受网络、技术、工具等 条件限制，信息大都处于离线状态，社区网格民 台服务的并发能力，致力于提供 高性能和透明化的 RPC 远程服务 调用，将传统企业的 SOA 转变为 可以伸缩的 SOA 治理方案 ( 服务 节点压力，复杂依赖关系，访问 扩容 ) 。 基础服务接入层： 缓存：减轻数据库压力，提高手 机端并发 消息队列 : 将部分业务由同步转 换为异步模式，提高系统的响应 能力。 其中配置：提供统一的配置管理 搜索引擎：提高客户端的响应速 度 手机推送：提高服务的访问量和

..................................................................................... 44 3.4.8. 元数据库(META)............................................................................................. ....................................................................................... 122 8.3. 数据库命名规范............................................................................................... ...................................................................................128 8.4.3.4. 维度数据库(DIM)..............................................................................................

理、服务鉴权管理、服务监控管理和服务路由管理功能。 b) 中间件平台：主要实现对中间件的统一管理和资源动态共享，包括 web 类中间件，交易类中间件，分析类中间件等。 c) 数据平台：主要实现对数据库的统一管理和资源动态共享。 d) 云服务能力：将平台自身功能、中国联通自有系统和第三方合作伙伴 系统的功能进行整合，使其能够通过标准的服务接口，向智慧城市上 单元。该产品模型从资源、类别 和属性三个维度描述产品，形成多维度的产品定义。详见下图。 资源：包括应用服务器、数据库、安全、负载、存储和网络接入等资源； 属性：资源属性，比如服务器的属性包括 CPU 数量、内存大小等； 类别：可提供资源的类型，比如数据库分为独立数据库、数据库实例等； 38 智慧城市平台架构规划及设计 1.1.2. 管理实现模型 SmartCube 在技术实现上，由唯一一个相应的资源模板组支撑。资源模板 组由应用服务器模板、数据库模板、安全模板、负载模板、存储模板和网络接 入模板等组成。每个 SmartCube 会根据具体使用场景需求，选择合适的模板及 模板属性来构成。详见下图。

智慧水务平台以三维 GIS 和 BIM 为载体，将各种零碎、分散、割裂的信息数据 以及设施运维所需的各种属性参数进行一体化整合，集成 GIS 技术、BIM 技术、自 动控制技术、视频监控系统、数据库技术、Web 服务、移动 APP 应用等多种技术， 为城市水务的运维管理构建信息采集、分析处理、浏览展示、发布和控制的高效智能 的管理平台。 该平台以各类实时监测数据、设备运行状态和设施属性信息为基础，具有查询分 在满足系统设计和建设技术要求的前提下，充分利用现有资源、统一设计、分步 实施、资源共享。 3.2 系统架构设计 梅溪湖水环境综合整治智慧水务系统架构为四层分层结构，系统由获取底层数据 的采集传输层、提供空间图形数据库和测站信息数据交换并共享信息资源的数据层、 支撑系统内部设置和应用的应用层、面向业主提供功能服务的服务层，总体架构见图 3.2-1。 1) 采集传输层：根据需求分析，梅溪湖国际新城核心区及流域范围内合理设置 产线各控制软件编制及上下载、故障诊断，运行组态监控软件(比如 WinCC7.0)，完 成设备控制信息和生产数据的采集工作。 c) 设置工作站 1 台(操作员站)，工作站从 SCADA 服务器读取数据库内的信息， 建立操作界面显示各生产区域的动态画面及图形，并能自动记录工艺参数、打印故障 报表，供操作员对该控制区域的生产设备状态、生产状况进行实时监控，并实时反映 生产环节中各部接口和设备的情况。

...................................................................................63 3.6.2 数据库建设需求.........................................................................................70 3.6 信息安全技术信息系统安全管理要求 9. GB/T20271 信息安全技术信息系统通用安全技术要求 10. GB/T20272 信息安全技术操作系统安全技术要求 11. GB/T20273 信息安全技术数据库管理系统安全技术要求 12. 《国家应急平台体系建设有关技术规范和要求》 13. 《图像信息管理系统技术规范》 14. 《政务信息图层建设技术规范》 15. 《涉及国家秘密的信息系统分级保护技术要求》（BMP17-2006） 应急一张图辅助决策系统、电子沙盘系统等。 2．综合应用系统数据库系统建设 数据库系统是开发区城市运营及应急指挥中心的重要数据源，提供存储、 维护、检索数据的功能， 把城市运营及应急指挥中心所需的数据按一定模式组 织存储起。此数据库主要由基础信息数据库、地理信息数据库、事件信息数据 库、预案数据库、监测信息数据库、报警信息数据库、 案例数据库、知识数据 库、模型数据库和文档数据库组成。 3．基础支撑系统建设

........................5 5 数据库建设方案...................................................................................................................... 6 5.1 基础地理信息数据库建设........................... ............................6 5.2 在线电子地图数据库...................................................................................................7 5.3 虚拟三维地图数据库......................................... ..........................8 5.4 实景三维数据库..........................................................................................................9 5.5 精细化三维模型数据库.....................................