信息滞后。 4 大模型微调 （ Finetune) 方案 ： 1. 收集整理垂类相关 的领域数据 / 企业 数据 / 专业数据； 2. 利用这些数据修正 （微调）大模型； 效果 ： 1. 微调后的大模型， 更理解垂类应用要 求，性能更优； 2. 微调后的大模型， 事实性更准确，避 免了幻觉。 人工审核 Prompt 优化、反面案例、 COT 构建 模型微调 性能评估 原始训练集 专用训练集 微调后模型 模型上线 AI Agent 如何解决生成式大模型短板 Embedding 模型 通用大模型 垂直领域文档 5 大模型微调 ( 思维链 CoT) 方案 ： 1. 微调数据中包括领域知识 及解题步骤（思维链）； 2. 利用这些数据修正（微调） 大模型； 效果 ： 1. 微调后的大模型，更理解 垂类应用要求，性能更优； 2. 微调后的大模型，事实性 微调后的大模型，事实性 更准确，避免了幻觉。 AI Agent 如何解决生成式大模型短板 微调数据（思维链） 微调效果： 6 联邦大模型 方案 ： 1. 构建联邦大模型新范式，解 决数据稀缺 / 标注不足问题； 2. 利用联邦学习技术，在保护 数据隐私的前提下，合规合 法地利用手机、汽车等终端 设备上的私域数据； 效果 ： 1. 联邦大模型，整体性能更优； 2. 联邦大模型，有效保护了私

虚拟现实 自动驾驶 生态 PyTorch TensorFlow MindScope 训练算法 无监督预训练 强化学习 前沿探索阶段 底层计算库： CUDA 、 CANN( 华为 ) 有监督微调 对比学习 * 互联网爬取、规模大 LLM 预训练 多维并行算法 状态监测、任务调度 语言通用模型： DeepSeek-R1 统一端：解码架构 统一预训练框架 电力通用任务 布 式 并 行 训练 提 供电 力多模 态 基 础 模 型 模型并行 流水线并行 支持分布式并行训练 后训练：能力增强与偏好对齐 指令微调技术 人类反馈强化学习 多模态统一编码 关键特征抽取 图保始码算法 动态分辨率 视须关睫帧态知 多场景协间增强 真实龄据感知 电气信号始码 高雌特征映射 电气词表扩充 提 供 隐私保护 MD A. MD1 B. MD 1 、数据生成：纯文本数据制作管 线 构建高效的 半自动化数据制作管线，为预训练和下游任务微调提供大规模、高质量的电力领域文本数据支撑 15/37 质量考核 数据清洗 存储高质量数据 提示词 十 种子数据 提供自动 化标注 提供高质 量数据 指令 回答 数据 标注 构

2-3G 大小（前端开发团队也有在做微调， 但只针对公共组件的使用上） 公共组件使用文档 真正的组件文档大小并不大，在 700 多 M ，在开发过程中便于模型能理解 公司内部的基本组件并知道如何使用； 同时将公共组件调用生成问答对更进 准的让模型理解 代码解释及关联代码 首先把所有代码把无注释的代码先生成一份代码注释 、然后将代码注释及代 码用于做微调 大模型在研发效能上的初步探索 o o o 单元测试案例及代码 提取代码中的单元测试案例 、以及单元测试的代码， 更精准的做代码微 调 微调模型的试验之路是否可行 困难 前期辅助编程方案并无法在研发流程中解决开发太多的痛点。 大模型辅助研发遇到的困难 需求分析 10% 好的需求分析工作对后期的研发有极大帮助 方案设计 8% 方案设计是系统稳定性 、健壮性 、可扩展性、 安全性等非功能的重要环节 开源模型迭代速度快 几乎每个月都有新模型出来 研发知识迭代影响 几乎每周都有版本更新 模型 Token 数限制 尤其是代码上下文数据巨大 微调服务器成本高昂 微调需要独占 GPU 资源，且巨大 2024-04-17 Mistral 8X22B 2024-04-24 Qwen-1 .5 110B 2024-05-13 Yi-1

识别、多轮对话等能力。 应用场景日益丰富 中国南方电网 CHINA SOUTHERN POWER GRID 24 1. 行业专用大模型 · 从通用大模型向电力垂直领域深化，构建“预训练 + 微调”的行业底座 ( 如“电力 GPT”) 。 2. 多智能体协同 · 大模型作为调度中枢，协调发电、储能、用户等多元主体，支撑新型电力系统“源网荷 储”互动。 3. 数字孪生集成 · 中国南方电网 CHINA SOUTHERN POWER GRID 。 38 电力人工智能的研究和思考 口电力人工智能 AI EPS 涉及大规模并行训练，场景任务，学习训练 推理 场景任务 任务微调 预训练 参数 ? ? ? 大规模参数 计算量 减小 ? 精度 不变 并行训练 上亿级 样本 源荷 预测 电力 平衡 风险 判别 久 千万级维度 中国南方电网 CHINA 电力智能大模型训练和推理 口研究电力人工智能 AI EPS 大模型基础技术，形成模型设计、开发、应用 系 列关键方法。 电力大模型训练和推理技术 难点 参数 轻量化 微调 推理 算力 并行 调度 加速 数据 评价 网络 清洗 设计 设计 ■ 电力大模型基础网络构建困难 ■ 面向多元高维向量表征的大模型训练算 法尚属空白

.........................................................................................63 4.3 模型微调与优化................................................................................................ 高价值客户识别模型 项目预算控制在现有 CRM 年维护费用的 120%范围内，确保 6 个月内完成生产环境部署。技术团队将重点关注模型冷启动阶段的 准确率优化，通过注入 2000 组历史工单数据进行监督微调，确保 上线初期即达到 85%以上的意图识别基准准确率。最终交付物将包 含完整的 API 对接文档、模型监控看板以及针对销售、客服团队的 专项培训体系。 1.1 CRM 系统现状与挑战 当前企业广泛使用的 DeepSeek 大模型作为新一代多模态 AI 基础模型，在 CRM 系 统智能化升级中展现出三大核心能力优势。其基于千亿级参数的 Transformer 架构，通过行业知识增强训练和垂直场景微调，能够 显著提升客户关系管理的效率与精准度。 在自然语言处理层面，模型具备高达 128K tokens 的超长上下 文窗口，可无缝解析客户沟通中的复杂语义场景。例如在邮件沟通 过程中，系统能自动提取客户需求中的隐含意图，准确率达

....................................................................................115 2.3 大模型训练与微调技术 ....................................................119 2.3.1 预训练技术............................ ............119 2.3.2 微调技术.........................................................................................................................................125 2.3.3 高效微调技术..................... 其跨阶段融合机制分离处理低频特征与高频残差，农田场景重建 SSIM 达 0.921，病害识别 准确率提升 11%。RingMo-SR 基于无人机基座模型 RingMo-Aerial，通过频域特征增强与仿 射对比学习预训练，结合适配器微调实现超分-分割多任务协同，UAVDT 数据集多目标追踪 MOTA 提升 3.1%。针对无人机图像特有的空间分辨率与光谱信息关联性，Arun 等[69]设计 了专用卷积网络架构，将亚像素映射技术与

架构的基础上， 通过多头潜注意力机制（ Multi-Head Latent Attention ， MLA ）进行优化；在后训练阶段采用冷启动 + 大规模强化学习 方 式，不再使用传统 SFT 做大规模监督微调， 甚至绕过了一些 CUDA ，采用 PTX 汇编来提升能力；在推理场景下通过 大规模跨节点专家并行（ Expert Parallelism ， EP ）来优化通信开销，尽可能实现负载均衡。 图表： ，中泰证券研究所 9 模型展现出随推理时间增加准确度增加的 Test time Scaling S1 仅使用 1000 个微调示例就达到了类似 r1 的准 确度 资料来源： s1: Simple test-time scaling ，中泰证券研究 所 图表：各模型微调示例数与准确度对比 图表： s1 表现出的 Test time Scaling n DeepSeek 可以通过 API 接 下，难以满足业务需求。 DeepSeek-VL2 等多模态模 型具备高精度的文档解析能力，能够提取文档中的关 键信息， 高效完成合同质检、条款比对等工作，大幅 提升工作效率与准确性。 n 江苏银行已成功本地化部署微调 DeepSeek-VL2 多模态 模型、轻量 DeepSeek-R1 推理模型， 分别运用于智能 合同质检和自动化估值对账场景中。 资料来源：上海证券报，搜狐，中泰证券研究所 16 降本增效场景之三：智能合同质检

并展现出强 大的泛化、推理和上下文学习能力。 大模型的核心特 征包括以下 4 方面 [5-6]。 其一,巨量参数:模型复杂度和能力的物理基础。 其二,预训练+微调范式:利用大规模无标注数据 预训练获得通用知识,再通过特定领域标注数据微调 适应下游任务。 其三,涌现能力:模型规模达到临界点后表现出的 超越小模型的、不可预测的新能力,如复杂推理、代码 生成。 其四,多模态融合:处理和理解文本、图像、语音等 评估、应用部署等方面的技术标准;规范不同场景下大 模型应用的功能、性能和交互要求。 4. 3 一个赋能平台(开发+部署+运营) 模型开发与微调平台:提供低代码/ 无代码工具 链,支持开发者便捷地调用基础模型能力,利用本地数 据安全高效地进行领域微调、提示词工程。 模型服务与集成平台部署:提供模型应用程序编 ·93· ���E�����0 程接口(Application Programming

强化基础模型工业推理能力 ，梳理工业标准操作流程 ，汇聚一批提示词 ，推动智能体理解工业任务、 指令、 角色； 面 向制造业泛化场景 ，采用知识蒸馏、 逻辑打分等方法 ，打造一批推理数据集 ， 支持工业模型微调。 （一） 提升工业模型基础能力 发展工业元宇宙 ， 攻关关键技术 • 发展工业元宇宙 ，打造工业基础模型库和信息库 ， 攻关空间计算技术 ，实现工厂、 仓库、 实验室等空 间全要素数字化映射和虚实协同 打造工业智算云平台 建设工业语料库平台 • 推动语料企业、制造企业、服务商等联合打造工业语料公共服务平台 ，建设船舶、航空、汽车、能源、钢铁等行业高质量多模态语料库， 形成工业战略语料库以及模型微调数据、强推理数据、评测语料、实体知识图谱、稀缺场景语料等工业专业语料资源。 • 探索嵌入式积分等多元利益分享和激励机制 ，促进语料高效汇聚与共享流通。 • 推动链主企业基于行业上下游需求 制定工业场景人形机器人安全性可靠性检验检测方法 ，推动产品“持证上岗”。 建设指南与标准化推进 建设指南 ，形成 “一场景一指引”。 推进模型选型、 语料准备要求、 智能体能力要求、 训练微调时间、 推理算力需求、 稳定性情况、 管理 应用要求等标准化 ，指导企业更好选择场景和配置资 源 ，降低试错成本 ，促进规模化推广。 "AI + 制造 " 场景案例 面向研发设计、 中试验证、 生产制造、

.....................................................................................31 3.1.2 领域知识微调策略................................................................................................. DeepSeek 方 案 平均响应延迟 2.1 秒 <0.8 秒 场景适配周期 4-6 周 1-2 周 该方案通过以下路径实现目标： - 模型优化：基于 DeepSeek 的千亿参数模型进行领域微调，针对 公共服务术语库（如法律条文、文化专有名词）强化训练 - 边缘计算：采用端云协同架构，高频问题本地处理，复杂需求云 端调用，平衡实时性与成本 - 数据闭环：通过用户反馈自动标注机制，持续优化意图识别模 因此模型参数量需在 70B 以下，并采用动态量化技术降低推理显存 占用。 3. 领域适配性：通过预训练+微调的两阶段方案，预训练模型选择 DeepSeek-V3 基础版（参数量 67B，上下文窗口 32k），其通用语 义理解能力可覆盖 90%以上的开放域问答需求。 定制化训练分为数据准备、微调策略设计、评估优化三个阶 段： 数据准备 - 领域语料库构建：收集历史语音讲解文本、用户高频问题、专业