𝜋𝜃和 𝜋𝜃𝑜𝑙𝑑 分别表示当前策略模型和旧策略模型，q, o是从问题数据集和旧策略 𝜋𝜃𝑜𝑙𝑑中 采样的输入和输出, 𝐴𝑡是基于广义优势估计（GAE）计算的优势值，依赖于奖励序列 {𝑟≥t} 和学 习的价值函数𝑉𝜓 。因此，PPO需要同时训练策略模型和价值函数。为避免奖励模型的过度优化， 标准做法是在每个词元的奖励中添加与参考模型的KL惩罚项 23 DeepSeek-R1 技术剖析：GRPO 赋能RL-Scale ➢From PPO to GRPO: ➢ PPO的价值函数通常是与策略模型规模相当的独立模型，这带来了巨大的内存和计算负担。 ➢ 奖励模型通常仅对输出序列的最后一个词元分配奖励，导致逐词元价值函数的训练复杂化。 ➢ GRPO：无需像PPO额外近似价值函数，而是利用同一问题下多个采样输出的平均奖励作为基线。具体而 言，对于每个问题 ，GRPO从旧策 理想的数据构建应当覆盖广泛的类别，并且难度分级明确，这有利于实现类似课程学习的效果，逐步提高模 型的能力。 ➢ 在奖励建模时，必须确保基于奖励模型的奖励机制不会被轻易攻陷。平衡推理长度与推理正确率之间 的关系。例如，针对一个序列中的下一个动作，若存在一个是错误答案而另一个是正确答案的情况， 传统的方法会倾向于提升选择正确答案的概率，同时降低选择错误答案的概率。然而，从推理长度的 角度来看，有时选择看似错误的答案可能会引导模

产效率、优化资源配置、增强质量控制和实现生产过程 的自动化与智能化。具体包括： • 设备管理： 在设备入库管理方面，AI 通过深度学习识别设备上的 条形码、二维码或设备特征，自动读取设备信息如型 号、序列号等；AI 的自然语言处理功能，可以自动 提取设备手册或标签上的文字信息，获取设备规格、 性能指标等关键参数。这些都能显著提升设备入库管 理的效率和准确性。 在设备运维管理方面，利用机器学习算法，对部署在 Transformer 架构。Transformer 架构通过引入自注意力 (Self-Attention) 机制，在处理序列数据时，能同时 关注输入序列的所有元素，并直接建立任意两个元素之间的联系，从而捕捉序列中的长距离依赖关系，实现对输入序列的 高效处理和理解。由于不依赖序列顺序，Transformer 架构在模型训练和推理时的并行处理能力更强，效率更高。 2. 参数规模大。大模型通常包含数 2022.3，BERT-Large，序列长度 512，批大小为 1。英特尔® 至强® 8480+：由 Numenta 测试，截至 2022 年 11 月 28 日。1 个 节点，2 个英特尔® 至强® 8480+，512 GB DDR5-4800，Ubuntu 22.04 内核 5.17，OpenVINO™ 2022.3，Numenta 优化的 BERT-Large，序列长度 512，批大小为 1。 英特尔®

更复杂的模型及数据切分 更大规模 / 更复杂的组 网 网络控制器 18 Huawei Proprietary - Restricted Distribution AI 调 度 平 台 超长序列 NPU NPU 4 、动态路径调整 数据并行、流水并行 模 型 并 行 算子深度融合 “ 工序合并”减少计算数据搬入 搬出的时间及内存开销 计算与通信融合 计算数据细粒度切分， 核心技术 A2 DeepSeek 适配 LoRA 微调 CCLoRA 支持 25Q1 支持 Fused_MLP 支持 qLoRA 微调 CCLoRA 支持 Fused_MLP 不支持 长序列微调 长序列 CP 方案 支持 核心技术 H800 A2 FP8 +20%~25% 不支持 无辅助负载均衡损失 评分效果提升 评分效果提升 DualPipe 计算通信比 1:1->8:1, +8~12%

以及进行决策和控制，提高自动驾驶的安 全性和效率 3.7 大模型的应用领 域 大模型可以用于自动驾驶中的感知、决策 等任务 。通过学习大量的驾驶数据 ，大 模 在生物信息学领域 ，大模型可以用于基 因 序列分析（识别基因中的功能元件和变异 位点） 、蛋白质结构预测（推测蛋白质 的 二级和三级结构） 、药物研发（预测分 子 与靶点的相互作用）等 大模型可以用于质量控制、故障诊断等任 务 。通过学习大量的工业制造数据