• ZeroBubble 中把 backward 拆分为 input 和 weight 两个部分 • DualPipe 中使用对称处理 ，不同 batch 从不同的 device 上开始流水 ③ 每卡显存占用略微增大 DualPipe ：双流并行优化计算和通信， All-to-All 通信开销接近 0 • 双向管道训练 ，需要存两份参数来进行训练（ Parameter 2x ） 同时 考虑到 PP-16 和 FP8 量化 ，每个卡上显存占用为 1.675GB 参考 DualPipe 技术，基于 MindSpeed 训练加速框架以及昇腾硬件特性，针 对 性地设计高效率流水并行技术，提升整体训练性能 Huawei Proprietary - Restricted Distribution 关键 启示 8 模型结构优化 降低后训练复杂度 推理优化 单次推理效率倍级提升 一次预测多个 token 推理倍级提升 FP16/BF16 1 前 1 后单流水 需要裁判模型评估 1 次 1token 预测 MHA/GQA 分组共享减少缓存 GPT4 16 专家选 2 FP8 混合精度 双向流水并行 新老策略组队评估 1 次多 Token 预 测 MLA 低秩压缩减少缓存 DeepSeekMoE 更稀疏 256

控制前向和反向过程中 计算和通信的GPU SM 数量，保证计算和通信 完全重叠 ➢ 双向流水线并行 ➢ 降低流水线的Bubble ➢ 需要存两份模型参数 ➢ 64路的专家并行 [1] DeepSeek-V3 技术报告 https://arxiv.org/pdf/2412.19437v1 双向流水线并行 计算和通信重叠 气泡和内存分析 72 拓展分析： System I & System

教传递价值观 教师视角： 大模型是优秀的执行者 ，但却是 糟糕的决策者。 教师要警惕过度依赖 AI 生成 教案或评价学生 ， 防止教学变成流水线作业 8. A I 赋能高校教学 大模型的局限性——无法跨越的“创造力鸿沟” “ 幻觉”问题： 大模型可能给出看似合理实 则错误的答案 缺乏教育直觉： 教师能凭借学生的微表情、

在自动化流 水线的传输皮带上或存储于各类容器中时，可能因相互接触或机械作用，致使邻近的完好电池片也遭受损害，转化为碎片， 从而对整个生产线的效率与产品质量构成严重影响。隐裂可能产生于电池片自动化流水线的任何工艺段，鉴于此，为了有效 管控工艺流程与产品品质，各工艺段的上料及下料工位均需配备隐裂自动光学检测 (AOI) 设备。这一需求不仅凸显了隐裂检 测在光伏生产中的重要地位，还极大地推动了隐裂