————————————- 66 / 118 黑龙江省“智慧粮食”工程总体设计方案 7.5.4.9 全文检索系统 提供全文搜索引擎，与系统无缝集成，可以快速搜索的自己需要的各类信 息。全文搜索引擎需准确、快速、海量，适合为门户提供站内全文检索服务。 具有支持海量数据的多并发的快速查询、按照相关性排序、关键词飘红、动态 摘要、支持常用的搜索语法、等功能和特点。 性能指标： 1. 支持每秒 20 次以上并发的全文检索。 2. 增加文章数量到 300 万篇对性能的影响不是很大。 3. 适当增加文章篇幅对效率影响不大。 4. 采用更快主频的 CPU 和增加 CPU 个数对性能会有比较好提高。 以上是最优环境下的数据，在实际运行过程中，通过 cache 结果，在普通 PC 服务器下可完成每日数百万次的全文检索。 ——————————————————— 对于要求不高的需求，在虚拟主机上即可完成。对于绝大多数应用，除了 硬盘你不需要额外的硬件投入甚至可以节约出更多的 cpu 资源（撤换您的基于 数据库的检索系统可以节约出更多 cpu 资源）。 全文检索系统功能：  用户检索行为可记录到数据库，供客户分析（词汇分析系统由用户自行 根据自己的需求设计开发，FS 不提供分析程序）。  支持两个关键词或更多组合搜索（如：“地震 日本”） 

如果内存的使用超过了物理限制，Spark 将会把这些比较大的分区 写入到硬盘，由此来保证可扩展性。 1.4.2.2.2.7 全文检索组件 Solr Solr 是基于 ApacheLucene 独立的企业级应用搜索服务器。它 对外提供了类似于 REST 的 HTTP/XML 和 JSON 的 API。其主要功能 包括强大的全文检索、高亮显示、层面搜索、近实时索引、动态聚 类、数据库整合，丰富的文档（如 Word 中，PDF 作为业界优秀的企业搜索服务器具有以下特性：  先进的全文搜索功能  优化的高容量网络流量  基于标准的开放接口—XML，JSON 和 HTTP  综合的 HTML 管理界面  采用 JMX 监控服务器统计信息  线性可扩展性，自动索引复制，自动故障转移和恢 复  近实时索引  采用 XML 配置达到灵活性和适配性  可扩展的插件架构 30 1.4.2.2.2.8 全文检索组件 Elasticsearch 查询的响应时间要求较高  查询处理的数据量大  支持同时处理结构化和非结构化数据  支持全文检索 实时检索引擎的功能是：  引擎支持分布式集群，提供运维平台页面监控集群、 节点，索引的运行情况  搜索管理：平台为搜索管理提供配置功能，包括索 引配置管理、结构定义、索引重建等  支持全文搜索，通过 RESTfulAPI 方式提供使用， 包括搜索功能、排序功能以及统计分析功能

解压管理 • 元数据化管理 • 基于 IP • 流媒体技术 • 代理、转发 • 会议大数据云平台整合 • 单兵整合 • 前端监控整合 • ACL 权限控制 • 缓存大数据云平台 • 全文搜索管理 • 自动索引管理 • 证据挖掘支持 • 基于内容管理 • 音视频增强 • 多种播放模式 • 多维度管理 灾后评估管理大数据云平台 • 评估参数设定 • 趁势模拟 • 方案比较

报表工具 …… 数据科学 工具 可视化 工具 文本挖掘 工具 多维分析 工具 即席查询 工具 源系统 …… …… 分析平台 即席查询 机器学习 语义分析 数据挖掘 全文搜索 多维分析 数 据 预 处 理 数据集成 列 式 数 据 库 键 值 数 据 库 流计算引擎 批量计算引擎 基础平台 数据存储 计算引擎 实 时 采 集 批 量 采 集 管理平台

垃圾信息识别率 95% 舆情话题演化分析正确率 85% 数据来源—媒体覆盖全 已建成全国最大的互联网文本数 据中心累计数据量达 500 亿条， 6 亿网民评论，日新增原创数 据 近 1 亿条 全文检索查全率和查准率 99% 3.2.1 舆情分析 提供疫情填报、物资精准定位投放、网格化防疫监督、同乘查询、出入登记等五大功能，疫情地图精准定位、图示化展现 疫情分布等功能，实现疫情管控在线

文献和专业数据等知识资源，将丰富的农业领 域知识融入模型，使其能够更好地理解和处理 与农业相关的问题和任务； ③ 基于 aikbase 向量知识库 依托同方知网自主研发的 aikbase 向量知识 库，该知识库可支持标量数据、全文数据、向 量数据的混合查询，实现十亿级高维向量毫秒 级响应，以及百万字文件上传实时向量化，从 而支持文档智能问答、连续对话等高级应用功 能，为用户提供更高效、准确的知识查询和交 互服务 技术架构

并在完工后立即复原。操作前要进行岗位安全检查，收 工时应收集好工具， 清理操作现场， 清除不安全因素。施工现场必须建 立健全防火检查制度和岗位制度， 配备齐全有效灭火器材，并放置在明 显易取处。 （2）安全文明施工保证措施 45 现场内的临时设施要认真按平面图布置，场内清洁、整齐各种损耗 材料及时回收处理，能用的尽快分类堆放和使用，无用的要及时运走。 施工现场的围栏要牢固，警示牌要放在显眼处。各种材料、半成品堆放

元数据维护 包括元数据的定义、变更及版本管理，对主机信息、数据库信息、用户信息、数据 对象信息、业务规则信息、加工逻辑等进行维护和管控。 元数据检索 在元数据管理首页用户通过输入关键字后，系统采用全文检索的方式迅速查找和关 键字匹配的权限范围内的元数据信息，并将信息返回给用户。用户能够通过展示的路径 信息快速定位到元数据组织树上的节点。 元数据版本 版本管理分为元数据对象版本管理与基线版本管理两种类型。 据库二维逻辑表来表现的数据。包括所有格式的办公文档、文本、图片、XML, HTML、 各类报表、图像和音频/视频信息等等。支持非结构化数据的数据库采用多值字段、了 字段和变长字段机制进行数据项的创建和管理，广泛应用于全文检索和各种多媒体信息 处理领域。 4.2.1.2 ODS 源数据层 为了构建有效的数据分层治理 ，构建起逐层递进的数据流转模式 ，数据湖构建 过程中，需要构建 ODS 源数据层。ODS 源数据层的数据是对

的数据应用。 （2）大数据基础平台：大数据基础平台是基于开源 Hadoop 进行优化开发， 由分布式内存计算、流式计算、分布式资源管理、分布式消息系统、分布式文件 系统、分布式列式数据库、全文搜索库、分布式缓存等模块组成，是各类大数据 存储、计算的基础平台。 3.1.6.7.2 数据资源平台 市、县两级综治大数据系统的数据资源平台均包含数据汇聚、数据处理、数 据组织、数据服务 果分发到各类数据库；数据组织根据综治部门的数据应用需求，按照标准统一、 综治大数据系统 大数据基础平台 分布式内存计算 流式计算 分布式资源管理 分布式消息 平台管理 分布式文件系统 分布式列式数据库 全文搜索库 分布式缓存 数据 汇聚 物联网数据汇聚 互联网数据汇聚 综合业务数据汇聚 数据 处理 数据 组织 数据 服务 数据治理 警务数据汇聚 其他行业数据汇聚 数据清洗 数据关联 数据比对 大数据基础平台逻辑架构示意图 （1）服务组件层 基础组件层主要包括基于 Hadoop 的开源组件（进行了封装和加强），以及 一些自研组件（如 Alces、Memo），支持列式存储、图数据库、批处理、流计算、 全文检索、多维预统计分析等。 （2）基础服务层 基础管理层在基础服务层相关组件基础上进一步开发和封装，向上层提供数 据采集、存储、综合检索、复杂计算、应用服务管理等功能。 （3）接口服务层

靠产业 农与旅 添活力 传文化 显淳美 承家训 保家风 村设施 常维修 村道路 要通畅 改旧貌 村容好 有垃圾 分类放 讲道德 守法律 邻里间 贵和睦 村中事 多谏言 给群众 参与权 三字经全文版 村建设 按规划 未批准 莫动工 生态线 农田线 村建线 需严控 保生态 展风貌 传文化 显淳美 修老宅 重传承 建新居 一宅地 村环境 要保护 争创建 最美村 村设施 要珍惜 常维修