信息滞后。 4 大模型微调 （ Finetune) 方案 ： 1. 收集整理垂类相关 的领域数据 / 企业 数据 / 专业数据； 2. 利用这些数据修正 （微调）大模型； 效果 ： 1. 微调后的大模型， 更理解垂类应用要 求，性能更优； 2. 微调后的大模型， 事实性更准确，避 免了幻觉。 人工审核 Prompt 优化、反面案例、 COT 构建 模型微调 性能评估 原始训练集 专用训练集 微调后模型 模型上线 AI Agent 如何解决生成式大模型短板 Embedding 模型 通用大模型 垂直领域文档 5 大模型微调 ( 思维链 CoT) 方案 ： 1. 微调数据中包括领域知识 及解题步骤（思维链）； 2. 利用这些数据修正（微调） 大模型； 效果 ： 1. 微调后的大模型，更理解 垂类应用要求，性能更优； 2. 微调后的大模型，事实性 微调后的大模型，事实性 更准确，避免了幻觉。 AI Agent 如何解决生成式大模型短板 微调数据（思维链） 微调效果： 6 联邦大模型 方案 ： 1. 构建联邦大模型新范式，解 决数据稀缺 / 标注不足问题； 2. 利用联邦学习技术，在保护 数据隐私的前提下，合规合 法地利用手机、汽车等终端 设备上的私域数据； 效果 ： 1. 联邦大模型，整体性能更优； 2. 联邦大模型，有效保护了私

虚拟现实 自动驾驶 生态 PyTorch TensorFlow MindScope 训练算法 无监督预训练 强化学习 前沿探索阶段 底层计算库： CUDA 、 CANN( 华为 ) 有监督微调 对比学习 * 互联网爬取、规模大 LLM 预训练 多维并行算法 状态监测、任务调度 语言通用模型： DeepSeek-R1 统一端：解码架构 统一预训练框架 电力通用任务 布 式 并 行 训练 提 供电 力多模 态 基 础 模 型 模型并行 流水线并行 支持分布式并行训练 后训练：能力增强与偏好对齐 指令微调技术 人类反馈强化学习 多模态统一编码 关键特征抽取 图保始码算法 动态分辨率 视须关睫帧态知 多场景协间增强 真实龄据感知 电气信号始码 高雌特征映射 电气词表扩充 提 供 隐私保护 MD A. MD1 B. MD 1 、数据生成：纯文本数据制作管 线 构建高效的 半自动化数据制作管线，为预训练和下游任务微调提供大规模、高质量的电力领域文本数据支撑 15/37 质量考核 数据清洗 存储高质量数据 提示词 十 种子数据 提供自动 化标注 提供高质 量数据 指令 回答 数据 标注 构

突破[1]。大模型又被称 为预训练模型、基础模型（Foundation models），它可以集中各种模态的数据信息，然 后基于海量数据、超大规模参数进行预训练（Pre-training）并通过微调（Fine-tuning） 以适配不同领域任务需要[2]。在医疗领域，医疗数据本身就具有多模态的特性，大模型 将进一步推进智慧医疗、医疗元宇宙和医疗研究的发展进程。比如电子病历理解、医 疗问答 郑琰莉，学士，发表论文 2 篇; 通信作者: 苏文星，硕士，发表论文 4 篇。 大模型构建流程分为：预训练、微调、奖励模型、强化学习四个阶段。预训练即 利用海量的训练数据和无监督学习的方法学习到通用的特征或知识，并将这些特征或 知识迁移到其他任务上，用于增强模型的泛化能力和表现。微调是指在已有的预训练 语言模型基础上，然后在新的数据集上进行少量的训练，使得模型能够更好地适应新 的任务或领 的任务或领域。提示调优（Prompt-tuning）、指令调优（Instruction-tuning）[7]和前缀调 优（Prefix-tuning）是现在大模型微调方法中较为常用的方法，其中 Prompt-tuning 是通 过提示来引导模型生成相关内容，Instruction-tuning 通过指令来训练模型执行特定任务， 而 Prefix-tuning 则是通过在输入中添加前缀来控制生成结果的格式和结构。奖励模型

2-3G 大小（前端开发团队也有在做微调， 但只针对公共组件的使用上） 公共组件使用文档 真正的组件文档大小并不大，在 700 多 M ，在开发过程中便于模型能理解 公司内部的基本组件并知道如何使用； 同时将公共组件调用生成问答对更进 准的让模型理解 代码解释及关联代码 首先把所有代码把无注释的代码先生成一份代码注释 、然后将代码注释及代 码用于做微调 大模型在研发效能上的初步探索 o o o 单元测试案例及代码 提取代码中的单元测试案例 、以及单元测试的代码， 更精准的做代码微 调 微调模型的试验之路是否可行 困难 前期辅助编程方案并无法在研发流程中解决开发太多的痛点。 大模型辅助研发遇到的困难 需求分析 10% 好的需求分析工作对后期的研发有极大帮助 方案设计 8% 方案设计是系统稳定性 、健壮性 、可扩展性、 安全性等非功能的重要环节 开源模型迭代速度快 几乎每个月都有新模型出来 研发知识迭代影响 几乎每周都有版本更新 模型 Token 数限制 尤其是代码上下文数据巨大 微调服务器成本高昂 微调需要独占 GPU 资源，且巨大 2024-04-17 Mistral 8X22B 2024-04-24 Qwen-1 .5 110B 2024-05-13 Yi-1

识别、多轮对话等能力。 应用场景日益丰富 中国南方电网 CHINA SOUTHERN POWER GRID 24 1. 行业专用大模型 · 从通用大模型向电力垂直领域深化，构建“预训练 + 微调”的行业底座 ( 如“电力 GPT”) 。 2. 多智能体协同 · 大模型作为调度中枢，协调发电、储能、用户等多元主体，支撑新型电力系统“源网荷 储”互动。 3. 数字孪生集成 · 中国南方电网 CHINA SOUTHERN POWER GRID 。 38 电力人工智能的研究和思考 口电力人工智能 AI EPS 涉及大规模并行训练，场景任务，学习训练 推理 场景任务 任务微调 预训练 参数 ? ? ? 大规模参数 计算量 减小 ? 精度 不变 并行训练 上亿级 样本 源荷 预测 电力 平衡 风险 判别 久 千万级维度 中国南方电网 CHINA 电力智能大模型训练和推理 口研究电力人工智能 AI EPS 大模型基础技术，形成模型设计、开发、应用 系 列关键方法。 电力大模型训练和推理技术 难点 参数 轻量化 微调 推理 算力 并行 调度 加速 数据 评价 网络 清洗 设计 设计 ■ 电力大模型基础网络构建困难 ■ 面向多元高维向量表征的大模型训练算 法尚属空白

.........................................................................................63 4.3 模型微调与优化................................................................................................ 高价值客户识别模型 项目预算控制在现有 CRM 年维护费用的 120%范围内，确保 6 个月内完成生产环境部署。技术团队将重点关注模型冷启动阶段的 准确率优化，通过注入 2000 组历史工单数据进行监督微调，确保 上线初期即达到 85%以上的意图识别基准准确率。最终交付物将包 含完整的 API 对接文档、模型监控看板以及针对销售、客服团队的 专项培训体系。 1.1 CRM 系统现状与挑战 当前企业广泛使用的 DeepSeek 大模型作为新一代多模态 AI 基础模型，在 CRM 系 统智能化升级中展现出三大核心能力优势。其基于千亿级参数的 Transformer 架构，通过行业知识增强训练和垂直场景微调，能够 显著提升客户关系管理的效率与精准度。 在自然语言处理层面，模型具备高达 128K tokens 的超长上下 文窗口，可无缝解析客户沟通中的复杂语义场景。例如在邮件沟通 过程中，系统能自动提取客户需求中的隐含意图，准确率达

架构的基础上， 通过多头潜注意力机制（ Multi-Head Latent Attention ， MLA ）进行优化；在后训练阶段采用冷启动 + 大规模强化学习 方 式，不再使用传统 SFT 做大规模监督微调， 甚至绕过了一些 CUDA ，采用 PTX 汇编来提升能力；在推理场景下通过 大规模跨节点专家并行（ Expert Parallelism ， EP ）来优化通信开销，尽可能实现负载均衡。 图表： ，中泰证券研究所 9 模型展现出随推理时间增加准确度增加的 Test time Scaling S1 仅使用 1000 个微调示例就达到了类似 r1 的准 确度 资料来源： s1: Simple test-time scaling ，中泰证券研究 所 图表：各模型微调示例数与准确度对比 图表： s1 表现出的 Test time Scaling n DeepSeek 可以通过 API 接 下，难以满足业务需求。 DeepSeek-VL2 等多模态模 型具备高精度的文档解析能力，能够提取文档中的关 键信息， 高效完成合同质检、条款比对等工作，大幅 提升工作效率与准确性。 n 江苏银行已成功本地化部署微调 DeepSeek-VL2 多模态 模型、轻量 DeepSeek-R1 推理模型， 分别运用于智能 合同质检和自动化估值对账场景中。 资料来源：上海证券报，搜狐，中泰证券研究所 16 降本增效场景之三：智能合同质检

础模型（base model），如GPT-3、PaLM、LLaMA等。然后，这些基础模型可以 进一步在特定的任务上进行微调，以更好地遵循人类的指示，从而得到现在被人们 广泛使用的ChatGPT，Copilot等产品。还有人尝试使用具体垂直领域，如生物医 疗、法律、教育，等领域的文本对基础模型进行微调以得到专用大语言模型，这些 模型同样在具体领域上展示出了良好的性能。此外，大语言模型具有在推理时根据 输入的P 如当前的大语言模型实际缺乏医学领域的专业知识，并且很多情境下难以理解医学 上下文的依赖性，大语言模型还经常会出现幻觉的问题，这些局限性通常会导致大 语言模型预测时会出现一些错误。 虽然目前已有用医学文本微调后的医学大语言模型，但大语言模型幻觉的问题目前 难以解决。一种可能的解决办法是使用检索增强生成（RAG）技术来进行结果增强 以避免幻觉，不过RAG技术仍受到知识库构建步骤的影响。总体而言，大语言模型

并展现出强 大的泛化、推理和上下文学习能力。 大模型的核心特 征包括以下 4 方面 [5-6]。 其一,巨量参数:模型复杂度和能力的物理基础。 其二,预训练+微调范式:利用大规模无标注数据 预训练获得通用知识,再通过特定领域标注数据微调 适应下游任务。 其三,涌现能力:模型规模达到临界点后表现出的 超越小模型的、不可预测的新能力,如复杂推理、代码 生成。 其四,多模态融合:处理和理解文本、图像、语音等 评估、应用部署等方面的技术标准;规范不同场景下大 模型应用的功能、性能和交互要求。 4. 3 一个赋能平台(开发+部署+运营) 模型开发与微调平台:提供低代码/ 无代码工具 链,支持开发者便捷地调用基础模型能力,利用本地数 据安全高效地进行领域微调、提示词工程。 模型服务与集成平台部署:提供模型应用程序编 ·93· ���E�����0 程接口(Application Programming

类筛选。然而实际情况下，模 型并无法得到完美的分子表征，因此在实际应用中，往往需要对大规模预训练进 行微调，从而优化分子的表征。而微调这一过程同有监督学习一样，受到数据标 签偏差的影响。在虚拟筛选这个领域，分子的标签是严重不平衡的，因为药物化 合物的数量实际是远远少于非药物化合物的。这就导致了微调阶段模型可能会不 自觉地过度拟合到现有药物化合物上，造成模型在实际应用中的假阴性上升。 写在最后：