技术剖析：DeepSeek-R1 Zero DeepSeek-R1 Zero: 无需监督微调SFT，纯强化学习驱动的强推理模型 DeepSeek-v3-Base (671B) DeepSeek-R1-Zero 基于规则的奖励 Rule-Based Reward 推理为中心的大规模强化学习 Large-Scale Reasoning-Oriented RL 大规模推理为中心的强化学习，提升模型数学代码能力 RL驱动下自然涌现长文本推理能力 技术剖析：DeepSeek-R1 Zero DeepSeek-R1 Zero: 无需监督微调SFT，纯强化学习驱动的强推理模型 ➢ 奖励建模：基于规则的奖励 (Rule-Based Reward) : 准确率奖励 + 格式奖励 ➢ 准确率奖励 Accuracy Rewards: 判断答案是否是正确的 ➢ 格式奖励Format Rewards: 规劝模型生成答案的过程是 和 ➢ 没有使用Reward model 需要大量的计算资源，可能会复杂化整个流程 ➢ 训练模板：选择最简单的 Thinking Process，直接观察到最直接的RL过程下的表现 基于规则的奖励 (Rule-Based Reward) : 准确率奖励 + 格式奖励 10 DeepSeek-R1 技术剖析：DeepSeek-R1 Zero DeepSeek-R1 Zero: 无需监督微调SFT，纯强化学习驱动的强推理模型

Relative Policy Optimization 强化学习让智能体（ Agent ）在环境 （ Environment ）中不断尝试、学习 ，并优化自己 的策略（ Policy ） ，最终获得最大化的奖励 （ Reward ）。 DeepSeek ： 技术创新—推理模型 | RL DeepSeek 应用场 景 DeepSeek 的能力层级 • 1. 基础能力层

多头潜在注意力：像多线程处理信息，显存占用降低 50%，适合普通电脑运 行 ⚫ MoE 混合专家系统：遇到问题自动召唤“专业团队”，比如数学题找数学专家模 块，写诗找创意模块 ⚫ 强化学习驱动：通过“试错+奖励”机制自我进化，类似游戏 AI 自学通关 2.划时代意义：中国 AI 的破局之战 DeepSeek 的诞生不仅是技术突破，更是国家战略级的里程碑： 成本革命： ⚫ 训练成本仅