项目编号： 生态环境保护基于多模态 AI 大模型智慧 诊断应用 设 计 方 案 目 录 1. 引言........................................................................................................................................... ............................................................................................9 1.3 多模态 AI 大模型的简介........................................................................................ ......22 3. 多模态 AI 大模型概述........................................................................................................................................................23 3.1 多模态学习的定义.......

一些高端的云服务实例可以提供数百、数千甚至数万数量级的CPU、GPU核服务能力；另一 方面，为满足大数据、数据库、3D视频处理在内的一些单核敏感型业务的需要，云服务仍将 持续提升单核、单实例性能。 多技术融合提升连接性能：云服务商综合利用内存/缓存、PCle、RDMA、IP网、EIP、VPC 等一系列技术升级和软硬件融合优化成果，大幅提升云、边、端不同位置服务之间的协同效 率，这对于保障在线业务的体验至关重要。 构，结合对数据布局的优化，提供贴合不同在线业务需求的个性化存储服务，例如低时延块 存储（数据库多副本场景，<0.1ms延迟）、高带宽弹性盘（大数据单副本场景，吞吐量达 ��Gbps）、高速临时存储等。 1.2 软硬一体协同优化，应对AI时代激增的数据冲击 AI预训练和推理过程需要存储和预处理海量的多模态数据，数据向量化趋势也非常显著，为保障 AI应用特别是中小模型推理和传统AI搜推场景的实 ，保持算力的平稳输出非常重要，包括性能 的线性度指标以及资源隔离的力度等。特别在是高密度计算环境下，单服务器下的租户更 多，相关租户之间的故障隔离以及缓存、存储等资源的共享访问问题会更加突出，既要确保 租户之间运行不受任何影响，又不能以牺牲用户访问性能为代价。此外，多副本存储策略在 面对存算分离架构时也会带来数据一致性的挑战。一些分布式事务处理涉及多个计算节点和 存储节点，进一步增加了系统设计和实现的复杂度。

产业升级。 产业链分析 智能软件研发产业链的发展现状 智能软件研发行业产业链主要有以下核心研究观点： 上 产业链上游环节分析 5 深圳市科敏传感器有限公司 英伟达芯片科技有限公司 上海韦尔半导体股份有限公司 深圳市腾云芯片技术有限公司 北京奕斯伟计算技术股份有限公司 光谷云计算武汉有限公司 北京云尔计算科技有限公司 深圳市海思半导体有限公司 SK海力士半导体（中国）有限公司 江西兆驰半导体有限公司 来十年的年复合增长率将逼近40%。面对如此庞大的数据存储需求，存储技术的革新显得尤为关键。当前，相变存储器（PCM）、磁 阻随机存取存储器（MRAM）和阻变存储器（RRAM）是较为成熟的新型存储技术。PCM的产业化进程最快，英特尔与美光早在2015 年便联合推出了相关产品；MRAM已实现产业化，主要应用于嵌入式存储领域，能大幅降低系统功耗，最高可达90%以上；而RRAM虽 尚未实现大规模商用，但其在存算一体及人工智能领域的 产业链下游环节分析 6 招商银行股份有限公司 中国工商银行股份有限公司 中国农业银行股份有限公司 浙江网商银行股份有限公司 中国银行股份有限公司 山东第一医科大学附属省立医院（山东省立医院） 爱尔眼科医院集团股份有限公司 北京和睦家医院有限公司 中国国家铁路集团有限公司 中国铁路广州局集团有限公司 2019年—2024年，智能软件研发行业市场规模由14,669亿元人民币增长至28,223亿元人民币，期间年复合增长率13

三阶段训练技术构建 GPT 3.5 辨别式 AI 对现有内容进行分析、分类、判断、预测 客户流失预测 生成式 AI 自动生成开放的文本、图像、音频、视频等内容 短视频片段 广告视频 多模态生成 相对通用的人工智能 一个大模型解决多个问题 自适应地应对复杂外界环境的挑战 专用人工智能 一事一模型，每个模型完成特定智能任务 解决特定的智能问题 里程碑： ChatGPT 的成 尤里 · 加加林是第 一 个登上月球的人。 独角兽被记载在大 约公元前 10000 年 漫 游亚特兰蒂斯平 原， 它们经常与皇 室联 系在一起。 模型的回答与事实不符， 因为尼尔 · 阿姆斯特朗 才是第一个登上月球的 人，而尤里 · 加加林是 第一个进入太空的人。 模型的回答是虚构的，因 为没有经过验证的现实世 界证据支持独角兽在亚特 兰蒂斯的存在，特别是与 可以管理计算资源并支撑应用开发。而大语言模型 ，正在起到信息系统入口界面作用。 大语言模型正在成为人工智能时代的信息系统入口 大语言模型 操作系统 浏览 器 图片 编辑 播放 器 科学 计算 硬件虚拟层 多模态 / 多领域数据通用接口 桌面和移动应用 服务应用 意图识别 情感分析 问答 文本生成 图片生成 声音生成

emehed DeepSeek 横空出世，各项指标逼近或超越 ChatGPT o1 9/80 口核心意义：打破 AI 垄断，带来 AI 平权，尤其是中文 Al 普惠，激发大众创造力 多 源 数 据 深 度 挖 掘 融合建筑领域各类数据，联动设备 运行指标 、能耗信息及环境监测， 实现精细用户画像，助力科学调度 与资源配置 智 能 故 障 识 别 与 诊 断 结合人工智能算法，自动提 口主要解决数据采集和信息展示，停 留在“展示大屏”阶段 口学术发表算法成果很多，实际应用 极少，落地“最后一公里”很难 智个 能 化 程 度 → 时 间 范式困境主要原因一：场景多、碎片化、个性化，定制化开发成本高 口有限的人力、物力和财力去应对复杂而多变的需求，最终的平衡点大多位于信息化阶段 可再生能源热力系统 科间的交流 像隔着一堵高墙；如今，人工智能正成为所有科学家都能听懂的通用语言 " 。 自动化 工程热物理 新能源 化工 软件 工程 人工 智能 范式困境主要原因三：周期长、链条多、人员配合难度大效率低 18/80 口需要多个 团队 深度长期协作，难度大成本高 口从经济性角度而言，大部分项目支撑不起如此开销 迭代 需求分析 运维算法设计 Al 模型开发

Transformer 架构和注意力机制[1，4]、端对端神经网络 训练等方法和技术学习文本数据中的语义和语法规 律，从而具有理解文本并生成语法正确、语义连贯 的文本的能力。当训练的数据足够大，模型的参数 足 够 多 ，模 型 开 始 涌 现 某 些 能 力（emergent abili⁃ ties）[5]，不仅能够理解和生成自然语言，还具有抽象 和推理的能力[6]，能在艺术创作、代码编写、科学研 究等多个领域展现出类似人类水平的创造力。这些 2.2 多模态数据挖掘 大语言模型技术并不仅限于文本数据，也可用 于理解和生成包括图片、音频、视频等多种类型的 数据。例如，Sora 采用 Tansformer 架构重建图片处理 的扩散模型（diffusion models），能更准确地理解视频 片段（patches）在向量空间的正确时空关系，从而生 成接近现实的合乎逻辑又平滑过渡视频[17]。这种多 模态数据处理能力能够形成一个综合的多模态知识 表示，促进多模态数据的理解和融合，从而让模型 具有跨模态知识挖掘和创新的潜能。如图 1 所示， 现实世界的信息、状态和变化通过不同的媒介和技 术手段，可以转化为文本、图片、音频、视频、信号 等符号描述，如果说文本数据是对现实世界在文字 符号规则下的一个投影，那么图片、视频、传感器信 号等不同数据都可以看作是现实世界在不同符号规 则下的多个投影，大语言模型技术具有在高维数字 空间融合不同符号世界信息的潜能，利用高维空间

Tel:(021)23185620 Email:yhy15080@haitong.com AI Agent（智能体）：从技术概念到场景落 地 投资要点：  思维链铸就智能体，多体交互拓展应用：早在上世纪 50 年代，阿兰图灵把“高度 智能有机体”扩展到了人工智能。如今随着大模型的快速发展，这个概念又被重 新拾起。大模型成为了智能体目前最完美的载体，有望完成从概念到实际应用的 推进速度加快。智能体大致可以分为六类，根据他们被设计出的 特点，可以作用在不同的应用领域上。不同类别的智能体给予应用层面上更多研 发方向，像目前关注度较高的自动驾驶技术、智能电网控制、能源管理等都能被 垂类智能体覆盖。结合多模态大模型，自动化和情感需求类智能体已落地。但商 业化智能体仍需考虑成本问题，由于智能体之间的交互过程可能出现错误循环且 输出结果不一定符合需求，tokens 成本远高于普通 LLMs。  人工 ， 人工智能领域发展更加成熟，许多智能体应用已在服务各类企业。并且美国有意 与人工智能强国组成战略伙伴，共同发展 AI 科技。智能体发展能推动政府、金融、 制造、能源、医疗、零售等行业的智能化应用向多模态和跨模态转变。  投资建议：我们认为未来智能体（AI Agent）的前景十分广阔，随着大模型的发展， 智能体将从概念走向实际应用，成为各行业的重要助力。通过多模态大模型，智 能体能够整合图

大模型技术在保险行业的应用现状及成效···············21 1.1.1 数据：多措并举缓解短缺状态· · · · · · · · · · · · · · · · · · · · 10 1.1.2 算力：单芯片算力达新高，国产化初具规模· · · · · · · · · · · 12 1.1.3 模型：多模态崛起，端侧模型影响未来终端应用· · · · · · · · 14 2.1 全球保险行业的发展趋势· · · 27 3.保险业落地实践篇· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 43 1.1.4 应用：日益广泛深入，多领域齐头并举· · · · · · · · · · · · · · 17 3.2 保险垂直领域大模型构建及评测· · · · · · · · · · · · · · · · · · · · 52 3 · · · · · · · · · · · · · · · · · · · · · · 131 6.1.2 应用场景：由非决策类场景向决策类场景过渡· · · · · · · 135 6.1.3 多模态大模型：落地应用潜力巨大· · · · · · · · · · · · · · · · 136 6.2 行业实践建议· · · · · · · · · · · · · · · · · · · ·

C 应用逻辑 C 算法 算力 统一出入口 应用模板（ A/B/C… ) 算法池（ A/B/C… ) 算力池 大模型时代企业 AI 项目“烟囱式 ”建设痛点越发严重 智能化趋势下：多品牌多场景下的重复造车轮，导致模型算法和镜像等 AI 资产管理分散，无法沉淀复用和统一运用。 底层统一 上层统一 中层异构 AI 治理 集约敏捷的 AI 中台式建 设 业务系统 B 业务系统 C 国产算力适配 高性能计算网络架构 客户业务系统 知识引擎应用 数智人 智能客服 多轮改写 文档解析 向量检索 文档拆 分 意图识别 RAG 知识文档 知识问答 开放 对接 知识引擎 配置项 工作流 联网搜索 模型部署 服务管理 u 精调训练： 低代码、灵活自定义两种精调模式自由选择 多种训练工具：具备周期调度能力的可视化建模，低门槛深度学习场景化 工具，交互式代码开发工具，专业的通用任务调度工具 分布式稳定训练：支持多机多卡大规模训练，故障自动重启续训 镜像制作：基于 jupyter 的高效自定义镜像制作工具 训练指标监控：丰富的指标监控及告警，覆盖网络及 GPU 算力 内置训练加速：全新升级 Angel 训练框架加速能力，性能提升

1 感知与理解 在与环境的交互中, 具身智能通过摄像头、麦 克风等传感器接受原始数据, 并解析数据信息, 形 成对环境的认知. 在处理此类信息时, 大模型有着 强大的优势, 能有效处理整合多模态的输入数据, 捕获各模态之间的关系, 提取为统一的高维特征, 形成对世界的理解. 如对大量无标签的互联网文本 和图像进行预训练的视觉模型, 能将图像与文本编 码到同样的向量空间中, 这种对齐不仅有利于对环 用于具身智能感知与理解的方法, 讨论范围是文本、 图像和音频等信息, 其中感知的信息来源于环境与 人类用户. 1.1 多模态模型理解 多模态模型, 尤其是多模态大模型 (Large multi- modal model, LMM) 具有理解图像、场景文本、图 表、文档, 以及多语言、多模态理解的强大能力[29], 可 以直接用于具身智能对环境的理解, 并通过提示词 使之输出结构化内容如控制代码、任务分解等指令 达到预期的效果, ViLA 可能会生成一个新的行动 步骤来纠正或完成未完成的任务. 通过这种以多模 态大模型提供实时反馈的设计, ViLA 能够自然地 利用视觉反馈来实现闭环规划, 使得机器人灵活地 适应环境变化, 并有效地执行长期任务. MultiPLY[100] 构造了基于 LLaVA[101] 的多模态、 以对象为中心的具身大语言模型. 研究人员预先定 义了一系列的动作标记 (如选择对象、导航、观察、