电力人工智能多模态大模型 创新技术与应用 1 、研究背景 2 、关键技术 3 、应用案例 4 、未来展望 目 录 人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科 学；其在历史上经过多个发展时期，形成了不同的技术流派； 深度学习是目前主流。 1950s—1970s 1970s 中期 1980s-2000s 通用模型 无需人类专家标注 高效互联通讯： NVLINK 、 HCCL ( 华为 ) 多模态通用模型： Qwen2-VL 等 . 背景 1—— 人工智能的概念及发 展 数据 算力 的范式，使大规模预训练成为可能。近年来，大模型凭借超大规模参数和海量数据学习，在多模态学习、 推理和通用人工智能方向取得重要进展，为人工智能的发展开启了新的阶段。 大模型 模态扩展 文本 检索增强 图像 / 视频 大规模基础模型 音频 电力大模型 医疗大模型。 Transformer 架构 注意力机制 多模态融合 0upr ake Wefert

新阶段。在此背景下，针对未来机器人等智能化终端泛用所导致的海量多模态数 据（如图像、视频、点云等）传输需求，传统以精确到比特级信息传输为核心的 编码调制方法逐渐接近香农极限，信息传输速率和系统性能的提升遭遇瓶颈。语 义通信作为一种新兴范式，以人工智能技术为核心驱动，将通信范式从比特级跃 迁至语义级，聚焦于信息的语义内容而非原始比特流，以突破传统通信香农极限， 为未来 6G 网络多模态信息的智简传输提供了全新的技术路径。 。 因此，本白皮书聚焦 6G 智简信息传输及使能技术，旨在构建适用于语义通 信的新型传输理论框架，设计端到端的自适应多模态语义通信系统，并研发动态 匹配与更新的语义知识库技术，为语义通信网络的高效和可靠运行提供理论和模 型基础，进而构建多模态业务适配的智简信息传输保障使能技术体系，支撑智简 传输系统未来可能的工程落地。 目 录 1 .... 11 3.2.3 O-MDMA 系统性能仿真对比 .......................... 14 4. 多模态智简传输技术.......................................... 15 4.1 多模态自适应语义通信 ..................................... 15 4.1.1 基于层的图像语义通信系统

算 机 视 觉 AlexNet ( 图灵奖得主 Hinton) CAN (Gioodfellow. 图灵奖得主 Bengio) ResNet ( MSR. 引用 183222) 跨模态模型 DALL E2 (OpenAI) 2017 年 ， Google 提出 Transformer 框架在机器翻译中取得显著进步 ，其分布式学习和强大编码能力受到广泛关注。 2018 : 客服问答 工业 : 产品设计辅助 && 生产规划 教育 : 智能问答、试题生成 法律 : 智能法律助手，法律咨询 医疗 : 问诊，用药咨询 科研 问答理解类 常识、专业知识、多语言、多模态、角 色扮演 + 多轮对话、安全陷阱 推理类 情感推理、演绎推理、逻辑推理、归纳 推理、类比推理 创作表达类 文字创作 & 创意、内容改写 / 续写、修改 ，提升模型的通⽤性和可维护性。 参数规模扩展 为确保模型质量和性能，未来的大模型将采⽤更深层的⽹络结构和更庞⼤的数据集进⾏预 训练，尤其在数据量和参数量上将迎来显著跃升。 多模态融合 大模型将逐渐融入图⽚ 、⾳频、视频等多种模态信息 ，实现跨模态的交互与理解 ，从⽽拓 宽其应⽤场景和实⽤价值。 大模型小模型化 在产业应⽤层⾯ ，结合底层基础大模型和针对特定⾏业的精简数据微调，将训练出更为实

破[1]。大模型又被称 为预训练模型、基础模型（Foundation models），它可以集中各种模态的数据信息，然 后基于海量数据、超大规模参数进行预训练（Pre-training）并通过微调（Fine-tuning） 以适配不同领域任务需要[2]。在医疗领域，医疗数据本身就具有多模态的特性，大模型 将进一步推进智慧医疗、医疗元宇宙和医疗研究的发展进程。比如电子病历理解、医 疗问答、 析其面临的风险与挑战并进行展望，旨 在为大模型在该领域的研究提供新思路。 2 人工智能大模型发展概述 2.1 人工智能大模型发展与分类 随着人工智能技术的进步和深度学习算法的发展，以及海量多模态数据的爆炸式 增长，芯片、网络、算力等基础建设的持续增强，大模型也迎来了快速发展机遇。2014 年生成对抗网络 GAN（Generative Adversarial Network）[4]的出现，推动了生成式人工 Network）[4]的出现，推动了生成式人工 智能的革命性发展，随后以 Transformer[5]、BERT[6]为代表的预训练模型的诞生，颠覆 了以往的深度学习模型网络结构，大幅提高了模型训练速度和对多模态感知、创作和 推理的能力，同时模型的参数量级也从百万级跃升到了百亿级，甚至出现了千亿级大 模型。截止 2023 年 6 月，国内外有超过百种大模型相继发布，国外如 Stable Diffusion、 GPT-4、Med-PaLM

数据， 解决特定的智能问题 ● 高效压缩信息表达知识 ● 持续提高泛化能力 ● 可有对齐自然语言表达， 价值 、 行为规范等 ● 持续地充分利用有效算力 ● 多模态信息归一化 (token 化 ) ● 扩展任务领域和专业知识 交通大模型 人工处理多个复杂任务的协同 交通 元素 模型 a 事件 发现 模型 b 数据 补全 模型 i 致因 分析 自动化能力、经验自学习能力。 智能感知 智能研判 智能信控 核心技术基础 图灵自研 AI 生产力平台 ， 以高效 AI 生产与标准应用集成为目标 ， 实现算法工程到行业 应 用端到端一站式落地 ， 2.0 版本面向多模态数据处理、异构大模型训推架构等提供工具化基础。 贯通数据、算法、 引擎、评测全流程， 综合提升模型开发与工程落地效率 40% + 支持百万级数据存储 、 预处理 、 自动化标注 、 3D 标注 、 寒武纪、 算能等系列硬件。 图灵 AI 生产力平 台 （ Turing - AICMS - 2.0 ） 依托鹏程 脑海多模态通用大模型 ∙ ， 通过多源异构知识语料与多模态特征编码协同提升多 模态生成式问题理解精度 ， 并结合微调垂域化训练 ， 推进 Turing 多模态大模型行业应用赋能。 多源异构知识语料库 领域知识向量化

和功能的差异，具身智能所需AI芯 片可分为云端训练芯片、云端推理芯片和端侧推理芯片，三者在设计目标、技术路径及应用场景上存在 显著差异。 云端训练用AI芯片 云端推理用AI芯片 通过海量多模态数据（视觉、语言、动作）训练 具身大模型，优化任务规划与泛化能力 为复杂任务提供高算力支持，降低端侧负载 端侧本体推理用AI芯片 内置于具身智能本体，实现实时环境感知、运动控制与本地决策 云端训练AI芯片 减速器，实现高精度扭矩控制和轻 量化设计，而线性关节则依赖丝杠或腱绳传动，以平衡负载能力与柔性需求。灵巧手作为末端执行器， 集成多轴自由度驱动系统、触觉传感器和六维力传感器，通过“触觉+视觉”多模态感知实现毫米级抓取 精度。这一系统直接体现了具身智能的核心理念——通过本体与环境的动态交互和感知-决策-执行的深 度融合，使机器人突破传统“程序化动作”局限，在复杂场景中展现类人化的自主适应能力。 谷歌与柏林工业大学合作开发的视觉语言模型，结合PaLM语言模型与视觉模型 （ViT），支持指令驱动的机器人动作生成（如抓取、导航），通过图文联合表征 实现具身任务。 RT-X Google 谷歌为机器人开发的多模态模型，融合视觉、语言、运动数据，支持实时动作规 划与环境交互，强调端到端决策和硬件协同，目标是优化机器人在复杂场景中的 实时响应。 VoxPoser 斯坦福大学李飞 飞团队 斯坦福大学李飞飞团

通过 AI 平台赋能医院，构建智慧环境新体验，实现业务流、数据流、资金流的统一管控。 综合运营监管服务 多 模 态 AI 服 务 平 台 AI 服务 AI 服务 AI 服务 AI 服务 多模态应用 AI 服务 影像云平台 AI 服务 多 模 态 AI 服 医院 AI 驱动模式创新，打造覆盖区域各级医疗机构一体化多模态 AI 综合服务平台。 助力医学人工智能社会治理实验和国家智能社会治理实验特色基地建设，引领区域，辐射全国。 构建智慧医疗云平台 - 构筑区域医疗中心 xxx 县级中医院 乡镇卫生院 村卫生室 xxx 全科影像的互联互通和诊断 13 款影像 AI 应用一体化融合 多模态影像标注和训练管理 xxx 总院 xxx 北院 xxx 海南分院 xxx 无锡分院 xxx 舟山分院 xxx 卢湾分院 xxx 康复医院 xxx 古北医院 xxx 太仓医院 xxx 新发展医院 构建“未来医院”跨院区多模态 AI 技术融合平台 医疗 AI 能力涵盖：肺部 CT 检查、心脏 - 冠脉

2023年是中国医疗大模型发展的元年，各种医疗大模型已广泛应用于临床辅助决策、 医学研究、健康管理等多个场景。未来，医疗大模型有望实现多模态AI与医疗实践全 流程的深入链接，应用于医疗教育和临床培训，提高药物研发和药物反应监测等方面 的能力。但在实际应用中，医疗大模型仍面临一些挑战，如准确度、透明度和可解释 性等问题，以及对数据隐私和安全问题的担忧。本文主要探讨医疗大模型在医疗领域 的应用及其面临的挑战。 意度和医疗效率；二是分析患者反馈、社交媒体评论和医疗调查数据，发掘患者意见 和需求，为医疗机构提供建议，助力医疗服务改进和患者体验提升。如，东软针对医 疗领域推出添翼大模型，全方位融合医疗行业解决方案、产品与服务，添翼的多模态 数据融合能力可为医院管理者提供对话式交互和数据洞察，简化数据应用，实现精细 化医院管理。 在药物研发过程中，医疗大模型可预测药物-蛋白质相互作用和药物毒性等信息，从而 评估新药的功效和安全性，有 理复杂和变化的医疗问题 时具有优势。 在医学影像分析方面，传统医学影像分析需要专业的放射科医生或病理学家进行手工 解读，耗时且存在主观性。随着人工智能技术的发展，ChatGPT目前已经可以分析多 模态信息，在未来有望能够分析X光、CT扫描、MRI等医学影像，自动检测异常或疾 病迹象，提供快速的初步诊断。此外，它还可以学习大量样本，提高准确性和一致 性。 在医学研究和知识发现领域，传统医学研究依赖于繁琐的实验和文献回顾，速度较

需要多期图像联合查看，但不同期相有变形 • 肝病被认为是“亚洲病”，国外研究相对较少 商汤 SenseCare 肝脏智能产品 • 行业首发肝脏智能解决方案 • 覆盖 CT 与 MR 多模态数据，全方位助力疾病诊断 • 搭载肿瘤切除与肿瘤消融多种术式智能规划 • 无缝融入临床工作流，帮助医生提升效率 未来医疗治疗 中心 CHIMA SenseCare 肝脏产品从临床诊断到智能手术规 + 工具 + 方法论融合 • 助力高水平医院建设 智慧医学科研平台 全院级“多模态异构数据治理 + 智能工具应用 + 科研转化体系建设”支撑高水平医院建设目标 多模态异构数据治理 • AI 技术 + 疾病知识图谱融合 • 文本数据 + 影像组学 + 生物信 息等多模态数据治理 AI 技术赋能 • NLP 自然语言处理 • 深度学习 / 机器学习 专病数据填充 数据治理及标准化 统计分析 核心结果分析 绘制图表 结果解读 医学知识发 现 科研论文管理 辅助决策支持 构建肺癌专病库涵盖 68 个专病域， 951 个指标 AI+ 多模态专病探索研究 实现数据从业务到科研，从成果到临床的闭环应用，高效为临床研究者探索和挖掘科研成果。 以专科发展带动诊疗能力和水平提升。探索基于影像组学进行疾病诊断研究、基于宏基因组学分析进行诊断模型研究等。

础上进行二次开发和优化，增强了针对性的应用能力。以字节豆包为 例，依托字节跳动的技术优势和训练数据优势，在自然语言交互上更 加智能，能快速准确地理解用户需求，为智慧旅游中的智能客服、行 程规划建议等功能提供支持；通义千问在多模态交互和知识图谱构建 上较为突出，可助力旅游内容创作、景点智能推荐等应用场景，将底 层大模型的能力转化为更贴近用户需求的服务；元宝则依靠腾讯和微 信的生态，在用户量及稳定性等方面有优势。该层次大模型在产品体 西” 模型，依托 DeepSeek-R1 的多模态交互能力，构建“行前规划 -行中服务-行后分享”的全流程智能服务体系。通过 RAG 技术整合 贵州 14 个地市的文旅数据（4A 级以上景区动态、非遗工坊预约、 民族节庆等），结合 DeepSeek 的逻辑推理能力，“黄小西”实现自 动生成路线与一站式预订的精准化服务、语音、文字、图片的多模态 交互和基于 DeepSeek 历史文化知识库的文化深度融合，为游客提供 5：庐山“一机游庐山”微信小程序 庐山文旅控股集团于 2025 年 2 月宣布“一机游庐山” 平台及 AI 数字虚拟人“庐悠悠”全面接入 DeepSeek。通过整合庐山地质、 历史、非遗等数据，“庐悠悠”能提供多模态交互服务：游客语音询 问“庐山云雾茶制作工艺”时，系统会同步展示采茶视频、推荐茶厂 体验点，并生成包含茶园游览的定制路线。其特色功能“实时天气卡 片”可动态显示景区各区域的云海概率、日出时间，结合游客位置智