的作用 ➢ 从文本模态到多模态 ➢ 其他讨论：Over-Thinking 过度思考等 ➢ 未来方向分析探讨 ➢ 模态穿透赋能推理边界拓展：Align-DS-V ➢ 合成数据及Test-Time Scaling: 突破数据再生产陷阱 ➢ 强推理下的安全：形式化验证 Formal Verification \ 审计对齐 Deliberative Alignment ➢ 补充拓展：DeepSeek-V3 Post-Training 时代下的RL新范式：后训练扩展律 Post-Training Scaling Law ➢ DS-R1 独立发现了一些通往o1路上的核心理念，并且效果还好到受到了OpenAI 的认可 ➢ 如何通过有效的 Test-Time Scaling 和 Train-Time Scaling 提升模型的推理能力？ ➢ 得益于纯大规模强化学习，DeepSeek-R1 具备强大推理 事实性推断任务 Simple-QA上表现突出 5 回顾：Pre-Training Scaling Law ➢ Pre-Training Scaling Laws: 预训练模型上广泛观察到的现象，协调了计算量C、模 型参数量N和数据大小D之间的关系 6 回顾：Post-Training Scaling Law ➢ Post-Training 阶段，随着训练时计算量（来自RL的Training阶段）和

Distribution 2 训练资源 • 随着 DeepSeek 提供了一种高效率训练的方法，同等 算力规模可以探索更强的模型能力 • 在竞争背景下，头部玩家仍将追逐 Scaling Law ，坚定 AI 算力的战略投资，加速探索下一代 AI 技术 DeepSeek 是 AI 发展史上的一个关键里程碑，但远未达到 AI 终点 AI 模型算法： GPT 、 互联技术：灵衢 AI 芯片：昇腾、寒武纪 … DeepSeek-R1 进一步验证“算力即性能” Scaling Law 升级，模型能力 = 算力 x 数据 x 思考 + 逻辑推理 DeepSeek-V3/R1 OpenAI-o1/o3 算力 x 数据 重新定义 Scaling Law 延续智能涌现的 方向 2017 谷歌发布首个 Transformer 架 构 模 Distribution DeepSeek 9 大模型从技术摸高走向技术摸高 + 工程创新并行 ，训练需求持续增 长 ① 技术摸高：头部玩家将战略坚定投入预训练基础模型创新，丰富模型组合，追逐 Scaling Law ，加速探索 AGI ② 工程创新：新的范式降低后训练和蒸馏门槛，模型效果大幅提升， 出现平权现象，引发新一波的“百模千态” 2012 2013 2014 2015

■ 2, 计算次数 C≈ 6* N * D ■ 万亿模型计算次数 C≈ 6* N * D 1 ≈ .5*1025 OpenAI."Scaling Laws for Neural Language Models",2020 ■ 万亿大模型预训练系统成本估计 ■ 条件：计算量 C≈ 6 * N * D ≈1.5*1 025 ■ 最低时间、成本估计 算 力 L=(Cmin/2.3·108) )-0.050 10-3 10-1 Compute PF-days,non-embedding 大模型指导法则 Scaling Law: 富则火力覆盖 数据集 模型参数量 7 6 5 4 3 ---- 2+ 10-9 Dataset Size tokens Parameters non-embedding