某财政大数据中心：财政数据信息资源目录、数据标准存储及大数据资产化规划方案（50页 WORD）

微信扫码，打开到小程序

项目编号： 财政数据信息资源目录、数据标准 存储及大数据资产化 规 划 方 案 目 录 1 概述.............................................................................................................1 2 规划思路......................................................................................................1 2.1 整体逻辑关系..................................................................................................1 2.1.1 数据资源目录总体结构.......................................................................2 2.1.2 数据资源目录技术框架.......................................................................4 2.2 整体技术路线..................................................................................................5 3 功能设计......................................................................................................5 3.1 资源目录管理..................................................................................................6 3.1.1 面向资源提供者的功能.......................................................................8 3.1.2 面向资源管理者的功能.......................................................................9 3.1.3 面向资源使用者的功能.....................................................................10 3.1.4 多维度资源目录展现.........................................................................11 3.2 ETL 功能.......................................................................................................13 3.2.1 元数据管理.........................................................................................13 3.2.2 数据采集.............................................................................................15 3.2.3 数据质量检查.....................................................................................16 3.2.4 数据转换.............................................................................................17 3.2.5 ETL 任务............................................................................................18 3.2.6 任务调度.............................................................................................19 3.2.7 ETL 日志............................................................................................20 3.2.8 ETL 监控............................................................................................20 3.3 数据采集及 ETL 技术支撑功能...................................................................21 3.3.1 数据采集配置.....................................................................................21 3.3.2 数据采集.............................................................................................22 3.3.3 数据确认.............................................................................................23 3.3.4 数据审核.............................................................................................23 3.3.5 数据转换.............................................................................................23 3.4 数据查询、统计与比较................................................................................25 3.4.1 分类数据查询.....................................................................................25 3.4.2 单位数据综合查询.............................................................................30 3.4.3 收支统计查询.....................................................................................31 3.4.4 地区排行查询.....................................................................................34 3.4.5 多年对比查询.....................................................................................36 4 数据分析与挖掘主题展望...........................................................................40 5 大数据资产化.............................................................................................42 5.1 大数据资产的价值尺度衡量标准................................................................42 5.2 大数据时代的数据资产管理........................................................................43 5.2.1 让数据成为资产.................................................................................44 5.2.2 数据资产的保值增值.........................................................................46 5.2.3 推动数据交易市场建设，加速数据资产化进程.............................48 1 概述 基于目前各地数据分析产品应用现状，为了切实推进大数据应用、落地数据分 析，亟需建设基于“金财工程”应用支撑平台的财政数据资源目录。一方面可以 使财政各类数据资源真正有序管理起来，做到“资源清晰、取用便利”，一方面 又可真正推进数据应用规划方案向具体实现的落地工作。 本方案旨在阐明财政数据资源目录在整个数据分析产品体系中的位置、总体结 构、功能设计等。 2 规划思路 2.1 整体逻辑关系 首先阐明数据资源目录与整体数据分析应用的逻辑关系： 图 2-1 数据资源目录及标准存储在整体数据分析应用中的逻辑结构图 第 1 页 图 2-1 数据资源目录及标准存储(分布式方案) 数据资源目录的建设需建立在《财政基础数据规范》及《财政标准存储规范》 基础上，按照一定的清洗转换规则自生产系统中获取数据后形成符合规范的标 准存储，供形成进一步的主题分析资源库使用，最终实现深层次的数据分析、 数据挖掘。 生产系统数据源可以是已建立的容灾备份池，也可以是原始生产库，甚至是非 基于平台的第三方系统或外部文件等资源。数据资源目录依据标准存储建立后， 还可提供多地区多年度收支统计、地区排名、多年对比等初步的数据查询比较 主题。当然，进一步的主题分析、深层挖掘，还需要基于形成的标准存储数据 仓库进一步进行抽象分类提取。 2.1.1 数据资源目录总体结构 数据资源目录体系主要由数据资源目录服务系统组成，同时还具备软硬件、网 络的支撑环境，以及标准与管理规范建设和安全保障。 第 2 页 整个数据资源目录建设是一个上下贯通、统一管理的架构，遵循财政基础数据 规范和标准存储规范、统一的前段码管理。整个数据资源目录体系结构体现为 省、市、县（区）三级体系架构。 图 2-2 数据资源目录层次体系结构 这三层体系架构从上至下逐级建立数据资源目录管理中心，每级目录管理中 心建设和管理本级及下级财政的数据资源目录。具体实施时，依照所处财政级 次不同而变化体系层次。总体而言，省级数据资源管理中心主要职责是负责全 省数据资源开发利用总体规划，制定信息提供、交换、共享的规则和范围，对 全省各级财政的数据资源目录进行统一管理。其他财政级次数据资源目录建设 思路参照省级执行。 每级目录管理中心除了建设本级财政数据资源目录外，还要充分考虑向上的兼 容性，特别是一些关键内容如目录和交换的核心元数据库的兼容。本级数据资 源目录建设完成后，作为上级财政资源目录体系的一个节点，要进行元数据的 注册等工作，使本级资源目录能作为上级财政数据资源目录树的一个分支。 财政数据资源目录体系是一个独立完整的目录体系，其总体结构可概括为数据 资源、数据资源目录体系及数据资源目录交换体系三部分。 第 3 页 数据资源是财政数据资源目录体系建设的基础。其含义是指财政业务过程中采 集、加工、使用的信息资源，包括财政业务过程中应用支撑平台内产生和生成 的信息资源及财政掌握的其他业务系统数据库、外部文件资源等。 数据资源目录体系和数据资源目录交换体系，这两个体系是密切不可分的。目 录其定义是为使用“名字一地址映射”允许在客体与其位置之间建立动态联系。 财政数据资源目录的概念更类似于图书馆中使用的分类目录概念。以核心元数 据为主要描述方式，按照信息资源分类体系或其他方式对财政信息资源核心元 数据有序排列。通过目录能够准确地了解和掌握信息资源的基本概况，发现和 定位所需要的财政信息资源。 而数据资源目录交换体系则是提供了一个通道把相关联的上下级财政信息资源 有机结合起来，是信息资源通过网络系统从一个物理位置到另一个物理位置的 过程。交换方式较为宽泛，邮件传输、文件传输、消息传输等方式都能实现资 源的交换。其重点关注的是上下级财政间在数据资源目录建设过程中的信息整 合实现、统一管理实现问题。 目录体系与交换体系既是相对独立的、可以独自工作的平台，也是财政信息资 源开发和利用领域的两个重要组成部分。通过数据资源目录体系准确定位资源 和服务的位置，并准确了解信息资源的概况后，可在授权范围内通过交换体系 得到信息资源。另一方面，数据资源目录体系的形成要通过交换体系交换资源 描述信息。两个体系相辅相成，目录体系是交换体系的前提条件，交换体系是 目录体系的实现载体。 2.1.2 数据资源目录技术框架 数据资源目录体系技术框架主要由两类目录组成，即公共资源目录和交换服务 目录。公共资源目录主要针对的是数据，提供数据资源目录信息，以便发现和 定位信息资源；交换服务目录主要针对的对象是数据交换服务资源，提供交换 服务地址等目录信息，以便发现和定位交换服务。 第 4 页 图 2-3 数据资源目录技术框架 目录体系建设和使用过程中存在三类角色：信息提供者、信息使用者和目录信 息管理者。信息提供者负责信息的编目、注册，保证编目信息的正确性和实时 性。信息使用者通过应用系统查询公共资源目录和交换服务目录，发现所需信 息。目录信息管理者负责资源目录的建立和管理，并保证目录信息的安全和维 护。 2.2 整体技术路线 整体上是利用多年度多财政的平台 2.0 的数据字典、标准存储、文件服务等组 件来支撑结构化和非结构化数据的存储和管理，让平台真正的成为财政数据中 心的管理者。 在数据利用时，还需根据分析主题的要求，利用分布式、搜索引擎、数据 挖掘等相关技术来实现数据分析利用。 3 功能设计 财政数据资源目录体系定义为以元数据为核心，以财政数据分类表和主题词表 为控制词表，对财政数据资源进行网状组织，满足从分类、主题、应用等多个 角度对财政信息资源进行管理、识别、定位、发现、评估与选择的工具。 第 5 页 通过定义数据资源目录体系，建立数据资源管理机制。数据资源目录体系应具 有以下功能：  建立描述资源的核心元数据，标识并描述所有的数据资源，包括数据资源 的名称、描述等信息；  建立描述数据资源的分类体系，以此为基础将所有数据资源分类；  与资源文件存储相关联，描述资源的访问信息，包括权限、访问方法、 地 址等，以此为基础通过资源目录记录的信息获取资源实体。 结合整体数据分析应用功能逻辑，数据资源目录体系的建立大体可分为数据采 集及 ETL 技术支撑功能、数据资源目录管理功能、对比主题展现功能三大部分。 总体的功能结构图如下： 图 2-7 数据资源目录功能结构图 3.1 资源目录管理 数据资源目录体系管理架构包括数据资源目录体系使用和管理的三个角色和六 项活动。三个角色是数据资源目录的提供者、使用者和管理者。六项活动包括 规划、编目、注册、发布、维护、查询。 第 6 页 信息提供者负责财政数据资源目录内容的规划和编目，向管理者注册目录内容 并负责更新，对本财政数据资源目录内容设置使用权限，负责提供与目录内容 相关的信息资源。 信息管理者负责数据资源目录内容的注册、发布及系统维护，按照国家标准及 相关管理办法进行资源标识符的分配、管理和使用，提供数据资源目录内容的 查询服务。 信息使用者可以查询数据资源目录内容，对获取的目录内容在授权范围内使用。 图 2-4 数据资源目录管理活动图 数据资源目录体系的业务流程包括资源编目、资源注册、资源发布，并提 供资源访问和资源维护等功能。编目提供公共资源核心元数据和交换服务资源 核心元数据的编辑功能；注册是指数据资源目录提供者向数据资源目录管理者 第 7 页 提供公共资源核心元数据和交换服务信息资源核心元数据登记；发布是指管理 者通过目录服务器，把财政信息资源核心元数据库的内容发布到系统中；查询 是指为应用系统提供标准的调用接口，支持公共资源核心元数据和交换服务资 源核心元数据的查询。 图 2-8 数据资源目录体系业务流程 3.1.1 面向资源提供者的功能 3.1.1.1 资源编目 各财政组织业务人员进行业务梳理和资源梳理，并依据统一的标准规范， 从信息资源库中对数据资源和服务资源提取特征，形成元数据。 （1）根据信息资源核心元数据标准对信息资源提取相关特征信息，并在此 第 8 页 基础上结合具体业务适当增加所需元数据，形成信息资源元数据。 （2）根据信息资源标识符编码标准，向目录管理机构申请信息资源的标识 符编码，并对元数据中的标识符信息进行赋值。 （3）根据信息资源分类标准对元数据中的分类信息进行赋值。 3.1.1.2 资源注册申请 资源提供者将编目形成的元数据通过元数据注册系统向目录中心的管理机 构申请注册。本级资源提供者提交数据资源元数据，下级目录中心将该级财政 目录服务地址和核心元数据注册到上级目录中心。 3.1.2 面向资源管理者的功能 3.1.2.1 资源注册审核 管理机构确认提供者提交的信息资源元数据格式及内容是否符合标准要求， 未通过审查的元数据返回给提供者修改。对于通过审核的元数据，生成数据资 源核心元数据和服务资源核心元数据，形成正式目录。 3.1.2.2 资源发布 经过审核的元数据进入元数据库，各级目录中心管理机构按照规定的核心 元数据标准，自动或手动抽取核心元数据放入本级目录中心标准存储中，作为 第 9 页 目录展现的基础。下级目录中心提取本级中心的核心元数据发布到上级目录中 心的核心元数据库中，并且发布目录中心的地址信息，包括目录中心的名称和 网络位置标识符，各级目录中心管理机构根据已注册的元数据，生成、发布并 维护目录内容。 发布是管理者根据各分类的编目规则为入库资源进行分类，发布最新入库 的元数据并通过目录服务系统根据目录服务的要求，从财政信息资源元数据库 中导出注册成功的财政数据资源目录信息，生成资源目录条目，并导入到数据 资源