2025国家数据基础设施技术路线研究报告AI、谷歌办公应用,以 及数据分析应用平台BigQuery等。其中,BigQuery是Google Cloud构建的高效安全数据流通平台。 BigQuery平台通过EDC组件并嵌入联邦学习,可以提供数据存储、数据处理、数据分析等全流程服务,以实现数据的 高效利用与处理。既能满足互操作性的要求,通过实现不同系统和平台之间能够无缝对接,从而推动数据的流通和共享,也 能确保数据自主权的实现,即保证参与者能够使用 限的控制权。BigQuery数据流通平台的技术特点有以下 三方面: (1) BigQuery云数据仓库 BigQuery作为Google Cloud的企业数据仓库,是Google Cloud数据处理的核心枢纽,具备诸多显著优势。它是完全 托管和无服务器的,这一特性赋予了它最大程度的灵活性与可扩展性,使其能够支持从千兆字节到艾字节规模的存储和SQL查 询。消费者可以将数据便捷地上传至Big 训练模型。这种方法在保护数据隐私的同时,利用多方数据进行模型训练,适用于数据孤岛场景,使企业能够在保护用户隐 私的同时,使用分散的数据源进行模型训练。在Google Cloud的架构中,联邦学习嵌入整个数据处理流程,与BigQuery和 EDC紧密配合。当服务提供商利用EDC访问BigQuery中的消费者数据时,联邦学习技术确保数据仅在本地进行计算,交换的 只是模型参数而非原始数据。 (4)数据自主控制10 积分 | 38 页 | 6.07 MB | 5 月前3
某智慧城市大数据中心建设项目概要设计方案(85页 WORD)该部分功能由大数据中心提供,包括数据交换、数据处理、人口法人库数 据整合、数据共享、数据管理等内容。具体内容如下: (1)根据应用系统和人口库、法人库的建设需求,梳理数据整合的范围、 方式和规则等。 (2)委办局及企事业单位和舆情数据通过数据交换平台,汇聚到大数据中 心。数据交换包括数据交换平台自动采集数据和人工手动导入数据两种方式。 根据梳理的规则,统一通过数据处理工具进行数据的抽取、转换、加载,形成 到内网专网共享前置机中,然后通过人工方式将数据导 入到政务外网共享前置机中。 3 专网 独立前置 前置机部署在专网,专网与外网逻辑隔离。委办局的网 闸等设备或安全接入平台等实现专网到外网的通信,将 数据推送到外网前置机。 3、数据处理层 大数据中心将原始数据分为委办局业务数据和舆情采集网络数据等原始数 据、委办局业务数据和舆情数据行清洗之后的主题数据以及人口法人库等专题 数据三种。数据的清洗、比对工作统一使用 ETL 来完成。数据管理平台提供物 API),再经数据服务总线提供数据服务。 3、错误数据反馈 大数据中心错误数据从数据交换、数据处理以及应用层三个层面完成错误 数据的反馈。 (1)数据交换层 数据交换平台支持配置简单的规则,过滤错误数据,并通过日志等形式, 反馈给用户。 第 30 页 城市大数据中心建设概要设计说明书 (2)数据处理层 ETL 做数据清洗、比对时,支持将过程错误信息存放到预先定义好的数据库 中,这样可以查询到清洗和比对的数据记录。10 积分 | 104 页 | 2.39 MB | 9 小时前3
智算中心暨电力大模型创新平台解决方案(51页PPT)l 人工智能平台 数据处理 模型开发 模型训练 自动建模 模型部署 模型推理 模型管理 模型监控 主要包括 AI 智 络( GAN ,主要用于图像和视频生 成) 3 模型训练:无监督学习算法(无标签) 半监督学习算法(辅以标注手段) 监督学习(标签) 强化学习(智能体 agent 根据奖励信号来更新策略) 数据处理层 模型训练层 推理服务层 视频 AI 统一算法仓:行业汇聚、百花齐放 单卡训练 多卡训练 数据标注 基于公有云技术底座能力 , 联合九天共同构建智算平台, 提供从数据处理 、 模型训练到推理应用 的 一 站 式 全 流 程 AI 开 发 服 务 , 为大模型 、 数 字 人 、 智能质检 、 智能客服等 AI 能 力 及 应 用 提 供 研 发 环 境 、 工具和平台,10 积分 | 51 页 | 4.74 MB | 9 小时前3
大数据基础平台建设方法对于重复记录的处理 第四部分 接入系统改造 接入系统改造方案 数据库改造 档案改造 属性对照关系处理 用户信息改造 系统功能改造 历史数据处理 新增数据处理 反馈信息处理 数据推送模式 主动查询模式 接入系统档案改造建议 ID 名称 属性 A000001 康泰克 颗粒物 集团大数据对象10 积分 | 43 页 | 2.19 MB | 9 小时前3
某财政大数据中心:财政数据信息资源目录、数据标准存储及大数据资产化规划方案(50页 WORD)登记字段 登记数据表中的各个字段,按照标准业务规范将其语义化,明确各个字段的业 务含义。类似于平台的数据字典的登记。 3.2.1.4 血缘分析 数据处理转换的过程中设计到多个数据层,为了保证数据的准确性、可追溯性 和唯一性等要求,对数据处理的过程进行相应的记录。 首先应该提供数据表追溯功能,对某一个数据表而言,可以查看它的数据转换 轨迹,数据由哪张表得来,经过了几层数据转换处理等。 3 80%的数据都是非结构 化数据,这些数据每年都按指数增长 60%.显然,加强对非结构化数据的重视程 度对于提升整体收集运用数据的能力效果显著。 另一方面,伴随着技术发展,传统的数据处理流程已不能满足业务需要, 提高数据处理速度势在必行。例如,O2O 模式对用户数据实时处理有着极高的 要求:用户数据伴随用户行为产生,这些数据往往是高速实时数据流。而且 O2O 业务周期短,这需要实时的分析用户数据并根据分析结果对用户进行个性10 积分 | 60 页 | 1.97 MB | 9 小时前3
智算中心赋能产业发展-康亚萍(28页 PPT)( 约 700 台服务器 ) AI 算力规模 每秒 80 亿亿次 是长三角当前投运规模最大、算力最高的智能计算中心 ! 相当于一小时可完成 100 亿张 图像处理 1 万公里 自动驾驶 AI 数据处理 300 万小时 语音翻译 南京智算中心算力规模 Aic 指 标 0. 8 Eops( 一期累 计 ) 1.8Eops( 二期累计 ) 2.5Eops( 三期累计 ) 分布式存储系统10 积分 | 28 页 | 13.47 MB | 9 小时前3
智算中心建设项目解决方案(43页PPT)总览视图 权限管理 规格定价 操作日志 大模型训练 离 线 渲 染 生 成 式 AI 开 发 边 缘 计 算 协 同 通用算力平台 数据处理 模型开发 模型部署 模型推理 模型训练 模型管理 集成开发环境: 自动建模 模型监控 云主机 镜像服务 裸金属 对象存储 云硬盘 机 架 式 设 计 , DellPowerEdge R7525 搭载 AMD EPYC 系列高性能 CPU 、 128GB 大 容量内存、 2 × 1.92TB SSD ,具备强大数据处理与 存储 能力; l 板 载 BMC 芯片 支持 IPMI 2.0 远程管理 ( 带外运维10 积分 | 43 页 | 5.90 MB | 9 小时前3
建筑装饰-AI赋能建筑设计,行业困局突围在望软件,从底层几何建模引擎到 应用层的各专业功能开发。 甘咨询 云平台、智能化信息 集成服务 开发基于互联网的云平台服务、云应用服务、通信及信息业务相关的智能化系统 集成服务、大数据基础设施服务、数据处理和存储服务。 苏交科 智慧管养平台、数字 孪生技术 首个具有示范意义的城市设施资产系统项目“江北新区市政设施智慧管养平台项 目”落地。TIC 平台开发项目、交通运输执法大脑产品研发、数字孪生技术的智 - 17 - 行业跟踪报告 1)工程咨询服务——充分利用大数据技术提升智库咨询能力。公司拥有交通运输 部综合交通运输大数据处理及应用技术研发中心科研平台,逐渐建立深度挖掘庞 大的数据资源及其潜在价值的分析能力,让智库研究更好地把握市场动态和社会 热点,研究制定适宜的发展目标和策略,提供交通与城市发展战略政策建议及基10 积分 | 21 页 | 1.66 MB | 9 小时前3
智算中心筑基数字经济新优势-单志广(23页 PPT)网络卸载 网络虚拟化 AI 推理算力 AI 训练算力 Benchmark 模 型文 件 在 线服 务 开 发接 口 高吞吐 推 理引 擎 AI 产业 化 产业 AI 化 语音 数据处理服务 开发训练服务 模型推理服务 强大 高效 易用 生 产 算 力 服务 平台 语 音 交 互 语音交互算法的训练语料数据量将很快突破百万小时 ,训练数据包含大量不同用户的口10 积分 | 21 页 | 3.63 MB | 9 小时前3
A级数据中心建设运营汇报方案(29页 PPT)数据中心监控室及设备间 5 气瓶间 6 配套空调机房 7 配电房 8 UPS 机房 9 电池室 10 配套空调机房或间 施工范围 数据中心是在建筑物内,按照统一的标准,建立数据处理、存储、传输、交换、综 合分析为一体化数据信息管理体系,数据中心为信息系统提供稳定,可靠的基础设 施和运行环境,并保证可以方便地维护和管理信息系统 施工内容 弱电智能化系统 • 信息网络系统10 积分 | 29 页 | 11.70 MB | 9 小时前3
共 10 条
- 1
