，能够理解更复杂的语意和语 境 。这使得它们能够产生更准确、 更连贯的回答 可迁移性高 学习到的知识和能力可以在不同 的任务和领域中迁移和应用 。 这 意味着一次训练就可以将模 型应 用于多种任务，无需重新 训练 语言生成能力 大模型可以生成更自然 、更流 利 的语言，减少了生成输出时 呈现 的错误或令人困惑的问题 3.1 大模型的概 念 3.2 大模型的发展历 程 大模型发展历经三个阶段 文心一言 ChatGPT 语言大模型 是 指 在 自 然 语 言 处 理 （ Nat u ral La ng uage Processing ， NLP ）领域中的一类大 模型， 通常 用于处理文本数据和理解自然语言 。 这类大模型 的主要特点是它们在大规模语料库上 进行了训练， 以学习自然语言的各种语法 、语义和语境规则 。 代表性产品包括 GPT 系列 （ OpenA I n 如果你面临创意写作、 文本生成、 意图识别等发散性较强且较为创意多样的任务 ，请选择通用大模 型 3.4 大模型的分 类 大模型是基于 Transformer 架构的 ，这种架构是一种专门用于自然语言处理的“编码 - 解码器”架构。 在训练过程中 ，大模 型将输入的单词以向量的形式传递给神经网络 ，然后通过网络的编码解码以及自注意力机制 ，建立起每个单词之间联系的 权 重。大模型的核

别生产线上的工人是否穿了防护服、佩戴安全帽，是 否进入违禁区等，并立即给出违规报警。还可以在仓 库等重点防火区域部署智能视频分析系统，实时检测 烟雾、火焰等火灾迹象，并快速触发报警。 此外，AI 技术在生产过程管控方面还可用于排产与调度 优化、资源与物料管理、能耗与排放管理等环节，推动 制造业向更高效、智能的方向发展。 经营管理优化 • 库存管理：利用深度学习和大数据分析，分析历史销 售数据、季节性变化、市场趋势等因素，预测库存 强大的泛化能力。大模型通过在大规模数据集上进行训练，学习到了丰富的知识和特征表示，从而具有强大的泛化能力， 能够有效处理多种从未见过的数据或新任务，甚至能处理一些与训练数据截然不同的任务。这使得大模型能应用于多种任 务和场景，具有广泛的适用性。 4. 灵活性和可定制性。大模型通常具有灵活的架构和可定制的参数，可以根据特定需求对通用大模型进行定制和优化。通过 微调 (Fine-tuning) 技术， 力在工业领域可普遍应用于智能客服、知识管理、 教学与培训、工业文档检索与统计等场景中，大幅 提升工作效率，减少人力劳动和成本。 还可以基于行业大模型提供知识问答/异常诊断/产 线维护/排产建议，大幅提升制造效率，降低运维 成本。 第三，识别/模拟/预测能力。 在工业质检环节，用大量数据训练视觉大模型 (CV)， 使模型具备更强的场景泛化识别能力，可用于产品 质检，安全监测复判等流程，助力实现零样本或少

和动态数据治理（解决数据缺失、 噪音干扰、 概念飘逸等） ， 支持 200 多 种数据格式自动解析。 • 2. 中级能力层 领域问题建模与复杂推理 ，包括领域自适应学习（建立医、 教育、 金融垂直应用于 模型） 、 因果推理引擎（建立因果图模型） 和多目标优化决策（求解帕 累托最有解） 。 • 3. 高级能力层 复杂系统建模与自主决策 ，包括数字孪生仿真系统（构建物理于数字融合虚拟环境 蒸馏是一种机器学习技术 ， 其中较小的模型（ “学生模型” ）被训练来模仿 较大、 预训练模型（ “教师模型” ） 的行为。 • 1. 数据蒸馏 在数据蒸馏中 ，教师模型生成合成数据或伪标签 ，然后这些数据用于训练学 生 模型。 • 2. Logits 蒸馏 在 logits 蒸馏中 ，学生模型被训练来匹配教师模型的 logits ，而不仅仅是 最 终的预测。这种方法保留了更多关于教师模型置信水平和决策过程的信息。 功能：用于开发本地 RAG 应用程序 ，支持多模态内容摄取、 混合搜索、知识图谱构建、 GraphRAG ，具备用户管理、 可 观测性、配置及可视化交互等功能 ，适用于处理动态数 据和 复杂实体关系的应用程序。 • 2. Cognita ：官网： https://cognita.truefoundry.com/ • 功能：模块化框架 ，提供定制化管道 ，用于构建可扩展且生

自主涌现学会重新评测原来的方法、反思和主动探索其他的路径 ➢ 多阶段训练下的冷启动让RL训练更加稳定，避免初期不稳定、加速收敛、提升思维链可读性 ➢ 未来后训练的重心会逐步倾向于RL，但是少量训练用于SFT可能还是必须的 ➢ 强化学习技术不只局限在基于规则的数学、算法代码等容易提供奖励的领域，它还可以创造性 地把强化学习所带来的强推理能力，泛化到其他领域 20 DeepSeek-R1 技术剖析：背后的教师模型 ➢ 此外，GRPO 算法还引入了一些额外的优化策略(奖励缩放和策略裁剪)，提升训练的稳定性。 ➢ From PPO to GRPO: ➢ PPO 作为 Actor-Critic 算法被广泛运用于 Post-Training, 核心目标是最大化下面的目标函数 ➢ 其中, 𝜋𝜃和 𝜋𝜃𝑜𝑙𝑑 分别表示当前策略模型和旧策略模型，q, o是从问题数据集和旧策略 𝜋𝜃𝑜𝑙𝑑中 \保证模型能够有效地学习到策略 ➢ 奖励机制的设计：兼顾推理能力和语言一致性 ➢ 准确率奖励和格式奖励，从而保证模型不仅能够正确地解决问题，还能够以规范、易读的方 式输出答案 ➢ 格式奖励：用于强制模型将推理过程放置在特定的标签内，用 和 标签来包 裹推理过程，使用 和 标签来包裹最终答案。 ➢ 语言一致性奖励：惩

预测提升模 型效果 • MTP 模块仅在训练中使用，提升模型训练效果，推理阶段可以不使用 MTP 模块，基础模型能够独立完成正常推 理 • 参考投机采样， MTP 模块也可以被重新配置用于 speculative decoding ，加速解码过程，降低整体时延 7 Huawei Proprietary - Restricted Distribution 关键 Restricted Distribution 昇腾硬件使能 Ascend Runtime 模型训练：算网 / 算存深度协同是大模型分布式并行训练的基 础 大模型技术发展方向 支持 2 级框盒、框框组网，适用于大规模及超大规模集群 3 、 AI 任 务信 息 任务、通信域 … 1 、控制器获取网络拓扑， 下 发路径 信息 2 、 AI 任 务调 度 以全部通信关系和拓扑信息作为输入 通过算法计算出最优结果，实现 Distribution 关键性能 优化特性 24 参数面 用于智能集群分布式推理时参数交换，要求网络具备高吞吐低时延能力，部署高带宽的智能 无损 RoCE 网络，每台推理服务器 8 个 200GE ROCE 光口 样本面 用于访问存储区的高速大带宽互联的存储系统，推荐部署为 RoCE 无损网络，每台推理服务器 2 个 25GE 光口 业务面 用于系统业务调度和管理。通常部署为 TCP/IP 有损网络，每台推力卡服务器