..................................................................................... 17 3.3 计算资源和存储资源配置估算........................................................................................ 19 4 ..................................................................................... 27 4.3 分布式集群存储平台................................................................................................. 税务内部业务平台、税务数据、国家经济情报的分析系统实 行统一规划和建设。所有资源整合后在逻辑上以单一整体的形式呈现，并可按需进行动态 扩展和配置。按照分阶段可升级的标准要求，为多级单位提供应用支撑基础平台服务和数 据存储、备份、交换等服务，实现基础软硬件资源的统一管理、按需分配、综合利用，增 强数据中心的可管理性，提高应用的兼容性和可用性，加速业务系统的部署，提升硬件资 源的利用率； 1 、制定数据规范化，提高数据质量

大数据平台系统架构亮点......................................................................43 3.2.2 大数据平台数据存储方式和存储周期规划............................................50 3.2.3 数据一致性保障................................. ....................................................................................85 3.5.1 分布式数据存储.....................................................................................85 3.5.2 数据处理和分析 存量、终端、数据业务等方面支撑运营能力，综合反映绩效成果，动态监控实 时预警，迅速响应决策支撑需求。 以下应用场景举例说明： 图-传统建设方式 存在的问题： 1. 管控能力不足 a) 数据重复存储； b) 各自为主的 ETL 处理； c) 数据标准不统一； d) 应用烟囱式开发； 2. 开放能力缺失 a) 融合分析能力不足； b) 开发成本较高； c) 对外数据安全管理不强。

供应链不确定性增加。 7 倍 需求季节性增加。 供需 手动配方管理 在新地点生产 生产效率目标 上市时间 每次转移生产地点时，企业都需要 重新校准设备、成分质量和原材料 用量。 这些信息未集中存储在某处， 不利于在不同工厂之间快速量产。 然而，欧洲仅有 36% 的供应链 企业计划采用灵活的自动化 解决方案（而该数字在美国更低， 仅有 24%）。 新冠疫情期间，供应链成本几乎 翻了一番。快速消费品企业一直 面临改善运营的压力。 借助供应链运营数字化和性能智能， 快速消费品企业可显著提升产品 可用性和客户服务水平，增收多达 3%。 在制定和设计阶段，团队必须 开展协作并收集数据以开发配方。 配方数据不会存储在数字模块中。 超过 2/3 的研发人员表示，新品 上市需要 6 个月到一年时间， 有时甚至更长。 快速消费品企业大多会保留配方、 新食品法规、安全标准和配制过程 历史的物理记录。 因此，每次开发新品时都必须收集 快速消费品行业高管表示，及时确保产品 的关键投入和/或保持产品库存是一项重大 挑战。 产品开发 数据存储与管理 运营管理 食品制造商本就无法维持连续的产品开发周期， 再加上新版合规法规和过敏原清单出台，他们更是 需要数月时间才能从各部门收集数据和信息来设计 配方。 快速消费品企业大多采用手动方法存储配方， 缺少一个中央数字存储库，无法随时保存和修改 配方、指南和流程。 随着产品需求激增，快速消费品行业高管还面临

国产化信息技术软硬件底层架构体 系和全周期生态体系，解决核心技术关键环节“卡脖子”问题。信创产业生态系 统主要由基础硬件、基础软件、新兴信创、行业应用、信息安全五部分构成。基 础硬件包括芯片、存储器、整机、网络设备等；基础软件包括操作系统、数据库、 中间件等；新兴信创包括信创云、大数据、人工智能等；行业应用包括应用软件、 行业应用等；信息安全包括密码技术、网络技术、信息对抗等。图 4.1 1.1.2 存储器 存储器是计算机的存储部件，用于存放程序和数据。按照存储介质的不同， 存储器主要包括光学存储、磁性存储和半导体存储三类，光学存储，根据激光等 16 特性进行存储，常见的有 DVD/VCD 等；磁性存储，常见的有磁盘、软盘等；半导 体存储器，又称存储芯片，以半导体电路作为存储媒介，具有体积小、存储速度 快等特点，是目前应用最多的存储器。半导体存储器又可分为随机存储器（RAM） 存储器（RAM） 和只读存储器（ROM）。根据断电后信息是否保留，分为易失性（VM）存储器与非 易失性（NVM）存储器。易失性存储器无法保留数据，这类产品包括 DRAM 和 SRAM， 其中 DRAM 为半导体存储主流方案，SRAM 产品主要用于 CPU 的主缓存以及辅助缓 存。非易失性存储器产品在断电后存储器仍保留数据，代表产品为 NAND Flash 和 NOR Flash。 目

.........................................................................................29 3.2.2 存储与计算资源配置............................................................................................ 。通过整合企 业内部数据和外部数据源，训练出适用于企业特定需求的大模型， 确保模型在精度、速度和稳定性方面达到行业领先水平。 其次，实现数据管理的智能化和自动化，提升数据采集、清 洗、标注和存储的效率。通过搭建统一的数据管理平台，确保数据 的质量与一致性，降低数据孤岛现象，为企业决策提供可靠的数据 支撑。 此外，项目旨在提升企业内部的技术协同能力，通过标准化接 口和模块化设计，实现 储系统和网络设备，确保模型训练和推理的高效运行。同时， 配置必要的软件环境，如深度学习框架、分布式训练工具和容 器化平台。 2. 数据管理与预处理：建立统一的数据管理平台，支持多源数据 的采集、清洗、标注和存储。实施数据安全策略，确保数据的 隐私性和合规性。数据预处理流程将包括数据增强、特征提取 和格式转换等步骤，以提高模型训练的质量。 3. 模型开发与训练：基于经典算法和最新研究成果，开发适用于

内部业务系统产生的结构化数据  商城日常零售业务处理过程中产生的结构化数据，存储在关系型数据库中，如：供应商信息、采购信息、商品信息、销售流水……  消费企业日常业务处理过程中产生的结构化数据，存储在关系型数据库中，如：客户信息、账户信息、企业产品信息、交易流水……  企业内部非结构化数据  日常业务处理过程中产生的非结构化数据，存储形式多样，主要包括用户访问日志、用户投诉、用户点评……  企业外部数据 内的全部数据作为增量  初始数据加载均采用全量模式 源数据增量 Page20 企业数字化转型总体架构——数据交换层 数据交换层设计目标 传输组件是根据数据源存储的不同分类而设计的，本质是通过分析数据存储结构和数据存储 库的特点来针对性的设计工具，以追求卓越的性能 保证数据在平台内高速流转 保证数据交换过程中不失真 保证数据交换过程中不丢失 保证数据交换过程安全可靠 数据区数据交 Hadoop 元数据 云数据推送平台 数据平台导入 临时区 数据平台导出 临时区 NAS 存储 ETL 程 序 区 Page21 企业数字化转型总体架构——数据交换层 NAS 存储 Hadoop 集群元 数据区 数据平台 ETL 数 据处理程 序 区 数据平台临时数 据区 存储数据平台各个 Hadoop 集群的元数据信息，如： HDFS 文件 系统元数据 集团数据交换平

.................................................................................. 8 1.2. 数据资产的获取和存储................................................................................................... ......... 82 8.8.4. 数据存储规则....................................................................................................................................... 87 8.8.5. 存储容量分析.................... 划建 设方的数据全景图，将所有有可能用上的、所有对建设方有可能有价值的数据都规划 出来，最终梳理出企业的数据资产目录。 1.2. 数据资产的获取和存储 从广义上来讲，大数据平台需要为建设方提供高效、安全、全面、方便的数据资 产的获取和存储能力。但对于信息化基础较好的建设方，在长期应用集成、数据集成 工作中，一般前期都建设了数据中心、数据仓库等数据管理系统，因此很多建设方可 以基于原来

召回，提升用户交互体 验。 第一部分：Data+AI 大咖观点 12 此外，云原生数据库 PolarDB 今年首次提出基于“三层解耦, 三层池化”（存储、内 存、计算）、AlwaysOn 架构的多主多写和秒级 Serverless 能力，解决了多主架构中 冲突处理和数据融合、以及 Serverless 秒级弹性租户隔离的难题。在高并发场景下， 概念？用一句话概括，就是让更多的模型、算法和 算力向数据靠近，而不是来回迁移数据。因为，搬数据这件事，成本高昂，不能再像 二十年前一样，把不同数据进行聚拢，再进行数据下发。现在，基本都是近存计算、 存内计算，计算向存储靠近，向数据偏移。 此种背景下，阿里云瑶池数据库推出的 Data+AI 一站式多模数据管理平台做出几个 重要改变：一、是一体化，打破数据生态和部署域的壁垒；二、让数据价值获取的路 径变短。 的可见性和利用效率。首先，通过一个集中化的界面，让用户能够清晰地查看所有分 散在不同来源（如 OLTP 数据库、OLAP 数据库、云存储及自有 IDC 等）的数据资产， 第一部分：Data+AI 大咖观点 17 从而更有效地管理数据并控制存储成本，同时获得全局性的数据概览，这一理念体现 在阿里云在 DMS+X 平台中提出的 OneMeta+OneOps 概念上。其中，OneMeta

灾备应用主机生产业务系统采用 V2V、数据同步软件、存储卷复制等将数据从新中心，构建了同城两个数据中 心的应用级灾备能力。 项目引入云计算架构建设基础设施 IaaS 服务能力，同时为保障信息系统的平滑迁移，云计算架构兼容传统稳态 环境下软硬件资源、运行系统等。 通过统一的云管平台将稳态、敏态云两种架构及资源有效集中管理，构建计算、存储、网络、安全等资源池及 云计算门户等，形成统一的基础 云计算门户等，形成统一的基础设施即服务能力，为公司提供云主机计算、云网络、云存储、云安全、容灾等服务， 租赁运营商 A 类国标机房，引入云计算架构构建一个业界领先的融合、弹性、安全和绿色的数据中心基础设施 平台，为财信人寿提供弹性的云计算、网络和存储等云服务，提升数据中心业务承载能力。 一、项目背景及目标 二、创新点 三、项目技术方案 1. 云数据中心 IaaS 服务能力的创新性 2. 云数据中心 PaaS 数据中心智能化与云化升级 按云架构完成了生产环境灾备稳态云区、生产环境灾备敏态云区的基础建设，并着力推进灾备系统的建设。为 确保两个数据中心数据的一致性，灾备应用主机生产业务系统采用 V2V、数据同步软件、存储卷复制等将数据从新 中心同步至老中心。整个灾备系统基于域名访问的方式完成了系统间的业务流调试。 根据两地三中心建设规划，建设同城两个数据中心的应用级灾备能力。 3. 灾备能力 四、项目成效

少量的统计分析 1.0 3.0 2.0 决策支持 建立数据理念 业务场景驱动 数据应用闭环 业务需求驱动 数据业务融合 数据仓库建设 数据服务 阶段 应用场景 数据需求 参与方 价值体现 存储计算 数据组织 Data 1.0 、 Data2.0 “ 描述过去，看结果； 看了，然后呢” 报表 明确 业务（决策） IT （实施） 面向业务人员 的辅助决策 数据库选型： 化到数据应用的工作效率， • 解决了因组织迅速膨胀、 推动现有业务的优化和新 员工众多造成的管理不 善和效率低下问题 业务的开展。 • 降低数据计算成本与数 据存储成本。 • 降低因大量重复建设及 数据体系不一致等导致 的人力成本的浪费。 • 将数据当成一种必须产 生价值的资产加以构建 和管理 • • 互， 从而使更多的数据被存储上来，并形成“活”的数据，源源不断 供应到 平台中； l “ 算”：通过吸引更多的数据实现数据资产体系的逐步完善，寻找更 多的 业务应用场景， 进行数据的深度挖掘计算，建立数据应用闭环， 数 据越用越有价值； 注：数据中台的规划一定要着眼于未来，从大处着手；落地时要从小场景进行切入，找到最能体现数据价值的地方，逐渐完善能力；随着存储、 计算需求的增加，逐步