电力人工智能多模态大模型 创新技术与应用 1 、研究背景 2 、关键技术 3 、应用案例 4 、未来展望 目 录 人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科 学；其在历史上经过多个发展时期，形成了不同的技术流派； 深度学习是目前主流。 1950s—1970s 1970s 中期 1980s-2000s 通用模型 无需人类专家标注 高效互联通讯： NVLINK 、 HCCL ( 华为 ) 多模态通用模型： Qwen2-VL 等 . 背景 1—— 人工智能的概念及发 展 数据 算力 的范式，使大规模预训练成为可能。近年来，大模型凭借超大规模参数和海量数据学习，在多模态学习、 推理和通用人工智能方向取得重要进展，为人工智能的发展开启了新的阶段。 大模型 模态扩展 文本 检索增强 图像 / 视频 大规模基础模型 音频 电力大模型 医疗大模型。 Transformer 架构 注意力机制 多模态融合 0upr ake Wefert

风控大模型 决策 能力 大模型驱动的范式革新 风险 ß 化调优 风险态势感知 实时风险 çv 多模态数据集成 策略知识智库 预警归因分析 决策量化推荐 特征向量化 标签生成 向量 特征 表示 多模态知识 构建及应用流程 知识存储 / 知识计算 多模态富文本数据引入，完善知识结构，丰富场景应用 知识更新 结 构 化 解 析 知 识 评 估 知 识 推 理 知 富文本数据 调用通用 AI 能力 实 体 抽 取 属 性 抽 取 关 系 抽 取 事 件 抽 取 知识加工 关键词 提取 解析器 视频识别 知识抽取与因子挖掘 画像、报告 代理智能体 多模态 ( LLM Agent) 数据调用 画像任务拆解与规划 选择工具与扩展能力 多代理智能体协同 信息存储与回忆 数据集成 实时、离线数据接入与加工 研发中心 法律合规部 业务条线 数据中心 RAG GraphRAG 知识 图谱 向 量存 储 大模 型 知 Ï 问 答 [ 模态决策 : 集模型、图谱、专家经验于一体的多模态 AI 决策。 graphRAGè 理 ÿ 基于 graphRAG 识别常识性推理、 一致性校验、团伙欺诈风险识别。 决策流无缝集成

后进行目标检测和计数；并进行去重处 理。最后将货架上不同品类的商品数量 传回机器学习的逻辑单元。 顾客表情动作识别 核心 “看得懂” +“ 算得准” +“ 用得 上”； 采取多源、多模态和多场景的数 据采集； 然后，通过人脸检测、关键点 对齐、光 照归一化和去噪增强实现识别。 商品所需数量分析 通过如下流程实现商品所需数量分析： 数据清洗→模型训练→需求预测。 提取特征。 俯拍 / 侧拍货架，分辨率 ≥ 2 K ，帧率 30 FPS 。 数据采集 Data Acquisition 01 01 02 01 去噪增强 多源头 光照归一化 多模态 多模态融合 动态通道 检测计数 后处理校验 图像采集 静态通道 多场景 检测和对齐 采集不同 FPS （每秒帧数）下的人脸表情。 通过人脸的微表情等动作来抓取其特征。 将重复检测去除，以得到正确数量。 ）基于消费记录的消费习惯分析； 2 ）基于表情动作的购买意向分析。 数据采集存储模块 传感器模块 通过纹理、几何、微表情等采集人脸特征数据并存储。 库存和货架的商品补足确认，并进行异常监控。 摄像头集群 多源头、多模态和多场景的人脸图像传输。 补货调度与 监控 I 商品数据处理 摄像头集群 03 02 04 06 05 补货数量 确定 商品边界框和类别数据采集并存储。 商品数据采集与存 储

保留、事后取回等针对信息的 流程，其包括感觉记忆、短期 记忆和长期记忆。将记忆进行 映射，感觉记忆作为学习嵌入 原始输入的表示，其模态为文 本、图像等。 04 智能体基本组成 #2 05 智能体应用场景：智能调度 多模态数据融合分析 智能体通过集成先进算法，实现多源异构 数据的融合分析，包括气象、负荷预测、 设备运行等，为虚拟电厂提供全面的数据 支撑，提升调度决策的精准性与前瞻性。 coze.cn 02 智能体框架 2025 年， Al 智能体框架领域迎来了蓬勃发展，各种框架以不同的核心定位和技术特点涌现，为开发者提 供了丰富的选择。这些框架不仅简化了任务编排、智能体协作和多模态集成的实现，还在可扩展性、性能 优化和生产级部署上表现出色。 03 智能体与虚拟电厂逻辑层次关 系 物理层结合关系 智能体与虚拟电厂在物理层通 过实际电网连接，智能体作为 中介，将分布式能源、储能设 络 技 术 ( 如 HTTP,SSE) 。 它定义一套核心 概念和 机制，包括用于服务发现和能 力描述 的 Agent Card; 用于管理协 作工作单 元及其状态的 Task; 用于 承载多模态 信息交换的 Message 和 Part; 以及用 于表示最终成果的 Artifact 。 07 智能体间通信 (A2A) 4 技术应用 202 5 01 基于智能体的虚拟电厂对新型电力系统的技术支撑

目标？ 新型电力系统面临新能源不确定性、分布式资源协调难、数据处理融合不足、决策实时性要求高、安全韧性挑战大等“成长 烦恼”。而大模型凭借强大的数据处理与模式识别、 出色的上下文学习与推理、多模态融合潜力等能力 ，成为破局关键 ，助力解 决系统难题。 数据 “爆炸 ”与融合困境 ： 海量 、 多源 、 异构数 不确定性剧增 ： 高比例能源的接入 ， 新能源的 随 机性、 波动性给系统平衡带来巨大挑战 ，价值挖掘不足 决策实时性要求严苛 ： 复杂优化问题需在秒级甚 强大的数据处理与模式识别能力 ，有望从海 量数据中洞察运行规律 出色的上下文学习与推理能力 ，可辅助甚至 优化复杂决策过程 多模态融合潜力 ，整合文本、 时序、 图像 等 多元信息 ，实现全景感知 挑战与机遇并存：大模型技术破局电力系统复 杂性 新型电力系统的“成长烦恼” - 大模型能力

Transformer 为基础的大模型行业应 用开始快速发展。 • 2023 年 ，智能客服大模型开始广泛部署。 • 2024 年 ，大瓦特 -CV 视觉大模型试点应用。 • 多模态大模型 ，时序预测大模型、科学计算大模型研究近期实现突破 • 专家系统、正则表达式等人工智能手段在电力行业数据采集， 自 动控制 ，故障定位等领域早有应用实践。 • 随着深度学习的发展 电力人工智能应用集中于小模型领域。 南方电网人工智能发展历程 ©CSG 2023. All Rights Reserved 2020 至今 2000 2015 imageNet 正则表达式 智能电网管理 多模态大模型 大模型应用阶段 1/2 LSTM 科学计算 智能巡检 隐患识别 智能客服 负荷预测 自动控制 语言大模型 视觉大模型 专家系统 图像分类 机器学习 技术积累阶段 CNN

。将 DeepSeek 与其他专门用于处理逻辑关系的模型或算法进行集成，如知识图谱、逻辑推理引擎等，结合各自的优势来提升处理复杂逻辑 关系的能力。 3 、多模态融合与交互： 除了传统数据，融入能源场景的图像、视频等多模态数据，如利用卫星图像分析能源设施分布、利用监控 视 频识别能源设备状态，结合文本数据，能让 DeepSeek 更全面地理解能源场景中的复杂逻辑。 4 、模拟与仿真结合：将

画面，右窗为三维热成像 / 深度感知视图，可直观呈 现环境温度分布、地形轮廓（如彩色热力图）；底部保留热成像缩略图与核心控制按钮，便于在复杂户外场景下（如山 地、荒野）实现 “视觉 + 热感” 的多模态环境感知，辅助机器狗完成避障、目标识别等任务 21 For full disclosure of risks, valuation methodologies and target price formation 生态为基础构建了仿真-上机-竞赛- 实训项目一体化路径。 • 平台以 Unitree Go2 为基础机型，具备 4D 激光雷达（360°×90° 超广角，0.05 米最小探 测距离）、深度相机、AI 视觉传感器等多模态感知系统，可实现复杂环境下的自主避障与 导航。进阶型号 Go2 Edu Plus 支持搭载 Jetson Orin NX 计算平台、D1 机械臂及更高精度激 光雷达（如 Mid-360 或 Hesai 从技术发展看，LiDAR模组价格有逐步下降趋势。如 Aeva Technologies 表示其下一代 LiDAR 目标进入双位数美元量产区。 • 在研究层面，腿式机器人平台与 LiDAR／视觉／惯性等多模态融合成为主流，以提升户外、复杂地形的自主导航能力。 SPOT EAP-2 LiDAR 激光雷达 宇树B2搭载汽车级激光雷达 资料来源：Boston Dynamics，海通国际 资料来源：ROBOSTORE

端世界引擎（World Engine） 运用难例扩散生成模型，可生成密度达真实世界1000倍的复杂场景数据，突破传统数据采集瓶 颈；车端世界行为模型（World Action Model）基于全模态感知数据训练，大幅降低端到端时 延，提升通行效率。鸿蒙座舱HarmonySpace 5采用全新混合大模型Agent架构（MoLA架 构），整合通用大模型与音乐、影视等领域AI能力，构建丰富的软硬件生态，带来多空间场景 2、人工智能面临的内生安全挑战 模型安全风险 对抗样本 对抗样本是针对模型的最典型威胁，它是一种通过对输入数据添加微小的扰动，使模型产生错 误输出的技术。 对抗样本对模型的安全应用构成了严重威胁，其影响范围涵盖了多模态领域，包括视觉、听觉 和文本处理系统。在视觉领域，辅助驾驶车辆可能误读被篡改的交通标志。听觉方面，语音助 手可能被隐藏在背景音中的对抗指令操纵。人脸识别和生物特征识别系统面临被精心设计的图 像或视频欺骗的风险。 像或视频欺骗的风险。 提示词注入风险 提示词注入攻击指攻击者通过巧妙构造输入文本，来操纵AI模型执行非预期或潜在有害操作的 一种恶意行为方法。 提示词注入对大模型构成了广泛的安全风险，涉及文本、图像、音频等多模态内容。这种恶意 行为可能导致敏感信息泄露、系统执行非授权操作、生成误导性或有害内容，以及利用第三方 应用漏洞进行欺诈。 应用安全风险 智能体安全风险 智能体（Agent）是一种能够感知环境

Date/Time Date/Time 1 0 50 研究目标 □ 建立一个城市尺度的建筑能耗负荷灵活资源调控平台 → 口 实 现数万建 筑高通 量、高 效率且高保真的负荷灵活性仿真 口融合多模态数据，绘制城市级的建筑灵活资源分布图 研究基础 从社区到城市尺度 - 技术难点：热工模拟与地理信息耦合 单栋建筑和社区尺度， 本项目组已展开大量研究， 进一步扩展到城市尺度 社区尺度