信息滞后。 4 大模型微调 （ Finetune) 方案 ： 1. 收集整理垂类相关 的领域数据 / 企业 数据 / 专业数据； 2. 利用这些数据修正 （微调）大模型； 效果 ： 1. 微调后的大模型， 更理解垂类应用要 求，性能更优； 2. 微调后的大模型， 事实性更准确，避 免了幻觉。 人工审核 Prompt 优化、反面案例、 COT 构建 模型微调 性能评估 原始训练集 专用训练集 微调后模型 模型上线 AI Agent 如何解决生成式大模型短板 Embedding 模型 通用大模型 垂直领域文档 5 大模型微调 ( 思维链 CoT) 方案 ： 1. 微调数据中包括领域知识 及解题步骤（思维链）； 2. 利用这些数据修正（微调） 大模型； 效果 ： 1. 微调后的大模型，更理解 垂类应用要求，性能更优； 2. 微调后的大模型，事实性 微调后的大模型，事实性 更准确，避免了幻觉。 AI Agent 如何解决生成式大模型短板 微调数据（思维链） 微调效果： 6 联邦大模型 方案 ： 1. 构建联邦大模型新范式，解 决数据稀缺 / 标注不足问题； 2. 利用联邦学习技术，在保护 数据隐私的前提下，合规合 法地利用手机、汽车等终端 设备上的私域数据； 效果 ： 1. 联邦大模型，整体性能更优； 2. 联邦大模型，有效保护了私

具备强大推理能力与长文本思考能力，继开源来备受关注。 DeepSeek R1-Zero 和 R1 的出现再次证明了强化学习的潜力所在： R1-Zero 从基础模型开始构建，完全依赖强化学习，而不使用人类专家标注的监督微调（ SFT ）； 随着训练步骤增加，模型逐渐展现出长文本推理及长链推理能力； 随着推理路径增长，模型表现出自我修复和启发式搜索的能力； DeepSeek-R1 开创 RL 加持下强推理慢思考范式新边界 Compute Optimallycan be More Effective than Scaling Model Parameters Laws [1] 。 DeepSeek-R1 Zero: 无需监督微调 SFT ，纯强化学习驱动的强推理模型 DeepSeek-R1 技术剖析： DeepSeek-R1 Zero model 需要大量的计算资源，可能会复杂化整个流程 训练模板： 选择最简单的 Thinking Process ， 直接观察到最直接的 RL 过程下的表现 DeepSeek-R1 Zero: 无需监督微调 SFT ，纯强化学习驱动的强推理模型 DeepSeek-R1 技术剖析： DeepSeek-R1 Zero

................................................................................... 11 3.2. 模式二：微调 .................................................................................................. 大模型的构建可以分为两个关键阶段，一个是预训练阶段，一个是微调阶段。预 训练主要基于大量无标注的数据进行训练，微调是指已经预训练好的模型基础上，使 用特定的数据集进行进一步的训练，以使模型适应特定任务或领域。针对工业大模型， 一是可以基于大量工业数据和通用数据打造预训练工业大模型，支持各类应用的开发。 二是可以在基础大模型上通过工业数据进行微调，适配特定工业任务。三是可以在不 改变模型参数的情 式的缺点是需要大量的 高质量工业数据集，以及庞大的算力资源，对成本和能力的要求较高，面临技术和资 源的巨大挑战。在最终应用前，无监督预训练工业大模型与 GPT3 类似，同样需要通过 适当的指令微调、奖励学习、强化学习等阶段，形成面向最终场景的应用能力。 SymphonyAI 3推出了基于无监督预训练的工业大语言模型，该模型的训练数据包 含 3 万亿个数据点，12 亿 token，能够支

意距离的依赖关系。 并行计算能力强： Transformer 架构支持并行计 算， 训练速度更快。 • 缺点：资源消耗大 上下文学习、指令微调、 扩展规律 (GPT3 、 GPT4…) 自然语言处理模型的演进 预训练语言模 型（ PLM ） “ 预训练 - 微调” 学习范式 （ BERT、 GPT） 大语言模型 （ LLM ） 注意力 Attention 自注意力机制：使序列中的每个单词都能 Richard Sutton （强化学习之父 ，阿尔 伯塔大学 教授， DeepMind 科学家） 折扣因子 监督微调 强化学习 图源自《 ReFT: Reasoning with Reinforced Fine-Tuning 》 DeepSeek-R1 ：监督微调 + 强化学习训练 高探索自由度 = 推理能力自我觉醒 （规则奖励 + 奖励模型） 纯强化学习训练 多阶段增强训练 R1-Zero 生成的 长思维链数据 综合性能 更强 R1 蒸馏 版 1.5B~32B 对 V3 模 型 监督 微调 混合数据 监督微调 60 万条 推理数据 模型蒸馏是一种将大型复杂模型（教师模型）的知识迁移到小型高效模型（学生模型）的模型压缩技术 ，其 核心目标是在保持模型性能的同时 ，显著降低模型的计算复杂度和存储需求

预测模型（N-gram） • 优点：可解释、计算速 度快 • 缺点：从前向后单向计 算；单纯基于统计频次、 缺少对上下文的泛化； 随着n的增大，参数空 间呈指数增长 “预训练-微调” 学习范式 （BERT、GPT） 上下文学习、指令微调、 扩展规律 (GPT3、GPT4…) 基于Transformer架构的语言模型 • 优点： ✓ 长距离依赖处理能力强：自注意力机制能捕捉任 意距离的依赖关系。 浙江大学人工智能教 浙 DeepSeek-R1：监督微调+强化学习训练 DeepSeek-R1-Zero （强推理模型） 推理导向强化学习 （准确率奖励+格式奖励） 纯强化学习训练 低可控：生成文本可 读性差、语言混乱 高探索自由度 => 推理能力自我觉醒 （更长的思维链、更深层次的 推理路径） DeepSeek-V3 （基础模型） 监督微调 强化学习 图源自《ReFT: Reasoning 更强 在探索自 由度、学 习效率、 行为可控 性 找到动 态平衡 混合数据 监督微调 面向全场景的强化学习 （规则奖励+奖励模型） DeepSeek-R1 （强推理模型） 671B 第一阶段训练：增强推理能力，生成高质量推理数据 第二阶段训练：增强通用能力，避免灾难性遗忘 对V3模型 监督微调 推理导向强化学习 （准确率奖励+可读性奖励） R1-Zero生成的 长思维链数据

2-3G 大小（前端开发团队也有在做微调， 但只针对公共组件的使用上） 公共组件使用文档 真正的组件文档大小并不大，在 700 多 M ，在开发过程中便于模型能理解 公司内部的基本组件并知道如何使用； 同时将公共组件调用生成问答对更进 准的让模型理解 代码解释及关联代码 首先把所有代码把无注释的代码先生成一份代码注释 、然后将代码注释及代 码用于做微调 大模型在研发效能上的初步探索 o o o 单元测试案例及代码 提取代码中的单元测试案例 、以及单元测试的代码， 更精准的做代码微 调 微调模型的试验之路是否可行 困难 前期辅助编程方案并无法在研发流程中解决开发太多的痛点。 大模型辅助研发遇到的困难 需求分析 10% 好的需求分析工作对后期的研发有极大帮助 方案设计 8% 方案设计是系统稳定性 、健壮性 、可扩展性、 安全性等非功能的重要环节 开源模型迭代速度快 几乎每个月都有新模型出来 研发知识迭代影响 几乎每周都有版本更新 模型 Token 数限制 尤其是代码上下文数据巨大 微调服务器成本高昂 微调需要独占 GPU 资源，且巨大 2024-04-17 Mistral 8X22B 2024-04-24 Qwen-1 .5 110B 2024-05-13 Yi-1

识别、多轮对话等能力。 应用场景日益丰富 中国南方电网 CHINA SOUTHERN POWER GRID 24 1. 行业专用大模型 · 从通用大模型向电力垂直领域深化，构建“预训练 + 微调”的行业底座 ( 如“电力 GPT”) 。 2. 多智能体协同 · 大模型作为调度中枢，协调发电、储能、用户等多元主体，支撑新型电力系统“源网荷 储”互动。 3. 数字孪生集成 · 中国南方电网 CHINA SOUTHERN POWER GRID 。 38 电力人工智能的研究和思考 口电力人工智能 AI EPS 涉及大规模并行训练，场景任务，学习训练 推理 场景任务 任务微调 预训练 参数 ? ? ? 大规模参数 计算量 减小 ? 精度 不变 并行训练 上亿级 样本 源荷 预测 电力 平衡 风险 判别 久 千万级维度 中国南方电网 CHINA 电力智能大模型训练和推理 口研究电力人工智能 AI EPS 大模型基础技术，形成模型设计、开发、应用 系 列关键方法。 电力大模型训练和推理技术 难点 参数 轻量化 微调 推理 算力 并行 调度 加速 数据 评价 网络 清洗 设计 设计 ■ 电力大模型基础网络构建困难 ■ 面向多元高维向量表征的大模型训练算 法尚属空白

模型层开源创新推动上层商业化实践 降本增效推动大模型落地，选择微调、蒸馏或RAG等路径达到ROI最大化 来源：艾瑞咨询研究院自主研究绘制。 2024年，“后训练”和“强化学习”成为大模型技术创新的热点。后训练通常由大模型厂商在预训练模型基础上完成，其流程一般包括： 监督微调（SFT），即利用特定任务的标注数据对模型进行微调，使其学习任务模式；奖励模型（RM）训练，通过收集人类反馈数据训练 成本、高性能的开源模型（如DeepSeek、阿里QwQ系列）极大推动了大模型的商业化实践，吸引更多需求方拥抱大模型能力底座，并进 一步采用微调、蒸馏、RAG工程等方式完成定向优化和应用部署。 预训练大模型能力落地实践路径 数据处理 后训练/ 增量预训练 微调 模型部署 蒸馏 RAG 在预训练大模型基 础上有后训练或者 微调/精调的进一步 需求，则需要更多 数据（公开数据集、 企业内部数据等） 来进行模型调整。 数据集的结构、质 等都是以基模为基 础进行后训练得到。 数据预处理 增量预训练 后训练 监督微调SFT、强化 学习RL、RLHF、偏 好优化对齐等 注入领域知识，优 化特定任务或领域 基于预训练模型，通 过少量特定数据集对 模型进行进一步训练。 参数全 面微调 参数高 效微调 针对所有层 的所有参数 进行微调 针对部分 层的参数 进行微调 Adapter Tuning LoRA、QLoRA Prompt

模型层开源创新推动上层商业化实践 降本增效推动大模型落地，选择微调、蒸馏或RAG等路径达到ROI最大化 来源：艾瑞咨询研究院自主研究绘制。 2024年，“后训练”和“强化学习”成为大模型技术创新的热点。后训练通常由大模型厂商在预训练模型基础上完成，其流程一般包括： 监督微调（SFT），即利用特定任务的标注数据对模型进行微调，使其学习任务模式；奖励模型（RM）训练，通过收集人类反馈数据训练 成本、高性能的开源模型（如DeepSeek、阿里QwQ系列）极大推动了大模型的商业化实践，吸引更多需求方拥抱大模型能力底座，并进 一步采用微调、蒸馏、RAG工程等方式完成定向优化和应用部署。 预训练大模型能力落地实践路径 数据处理 后训练/ 增量预训练 微调 模型部署 蒸馏 RAG 在预训练大模型基 础上有后训练或者 微调/精调的进一步 需求，则需要更多 数据（公开数据集、 企业内部数据等） 来进行模型调整。 数据集的结构、质 等都是以基模为基 础进行后训练得到。 数据预处理 增量预训练 后训练 监督微调SFT、强化 学习RL、RLHF、偏 好优化对齐等 注入领域知识，优 化特定任务或领域 基于预训练模型，通 过少量特定数据集对 模型进行进一步训练。 参数全 面微调 参数高 效微调 针对所有层 的所有参数 进行微调 针对部分 层的参数 进行微调 Adapter Tuning LoRA、QLoRA Prompt

2 大规模预训练技术.......................................................................... 34 2.2.3 模型微调与优化.............................................................................. 35 2.2.4 模型部署与运维 需求进行调整和优化的过程。由于不同工业行业和任务具有独特的特点和要求， 如机械制造行业对产品精度和工艺要求严格，电力行业对设备运行稳定性高度 关注等，需要通过添加特定行业数据、引入领域知识以及采用合适的微调算法， 使模型更好地适应这些独特需求，提升在特定工业任务和行业中的性能表现。 1.1.3 工业数据制备 这是工业大模型构建的第一阶段。工业数据具有异质数据模态的特点，包 括 CAX 模型 守恒定律：能量、质量等物理量的守恒关系 ➢ 因果时序：设备退化过程的不可逆特性 ➢ 边界条件：工艺参数的安全阈值限制 ➢ 不确定性传播：测量误差的链式传导效应 1.2.2 模型架构 ◼ 混合架构 主流架构呈现"预训练+微调+物理嵌入"的混合模式： ➢ 基础层：基于 Transformer 的通用特征提取 ➢ 领域适配层：融入设备动力学方程、材料本构模型等机理知识 ➢ 任务特定层：面向检测、预测、优化等场景的轻量化模块