DeepSeek-R1 \ Kimi 1.5 及 类强推理模型开发解读 北大对齐小组 陈博远 北京大学2022级“通班” 主要研究方向：大语言模型对齐与可扩展监督 https://cby-pku.github.io/ https://pair-lab.com/ 2 Outline ➢ DeepSeek-R1 开创RL加持下强推理慢思考范式新边界 ➢ DeepSeek-R1 Zero DeepSeek-R1 技术剖析：DeepSeek-R1 Zero DeepSeek-R1 Zero的关键启示 ➢ 跳过SFT阶段，直接运用纯强化学习拓展推理能力边界实际上也带来了几个很重要的启示： ➢ 需要足够强的基座模型：基座模型 (DeepSeek-V3 Base) 超过了某个质量和能力阈值 （671B 在14.8T 高质量Token上训练）（基座模型知识帮助突破推理上界，也有一些 工作利用小模型复现 Reasoning Capabilities: ➢ 社区的复现都涉及蒸馏和搜索，而DS-R1 Zero 跳过监督微调SFT阶段，展现出大规模强化学 习的潜力，这也得益于以下几点： ➢ 需要足够强的基座模型：基座模型 (DeepSeek-V3 Base) 超过了某个质量和能力阈值 （671B 在14.8T 高质量Token上训练）； ➢ 大规模强化学习加持：GRPO 对于强化学习训练的优化；

年轻力量： 核心成员全部 46 周岁以下 结构合理： 教学型、 科研型、 实验工程师 专注专业： 从 2013 年至今 ， 11 年专注于大数据教学 团队特点： 眼光前瞻、 紧跟技术、 创新实干、 执行力 强 影响力高： 多项指标在国内高校大数据教学领域领 先 • 教材数量 • 教材占有率 • MOOC 课程学习人数 • 师资培养 • 教学研讨会 • 教学网站访问量 • 在线讲座观看人数 参数数量庞大 大模型的设计和训练旨在提供更强大、 更准确的模型性能 ， 以应对更复杂、 更庞大的数据集或任务。 大模型通常能够学习 到 更细微的模式和规律 ，具有更强的泛化能力和表达能力 学习能力强 大模型可以从大量的数据中学习， 并利用学到的知识和模式来提供 更精准的答案和预测 。这使得它 们在解决复杂问题和应对新的 场 景时表现更加出色 上下文理解能力 大模型具有更强的上下文理解能 是指可以在多个领域和任务上通用 的大模型 。 它们利用大算力、使 用 海量的开放数据与具有巨量参 数的 深度学习算法，在大规模无 标注数 据上进行训练， 以寻找特 征并发现 规律 ，进而形成可“举一 反三” 的强 大泛化能力 ，可在不 进行微调或少 量微调的情况下完 成多场景任务 ， 相当于 AI 完成 了“通识教育” 行业大模型 L1 是指那些针对特定行业或领域的大 模型 。 它们通常使用行业相关的

Haystack 官网： https://haystack.deepset.ai/、 功能：用于构建基于 NLP 的搜索和问答系统 ，提供模块化架 构、多模型支持、高效检索、问答功能 ，可扩展性强 ，适 用 于问答系统和文档检索应用。 6. LlamaIndex 官网： https://docs.llamaindex.ai/ • 功能：简化外部知识库与 LLM 的集成 ，支持动态数据摄取

工业大模型，是指在工业生产中使用的大型模型。工业大模型在满足大模型技术基本特征的同时，具备在各个工业领域及工 业各环节进行应用的能力，或在工业装备、软件等融合中赋能的模型。 相较于工业专用小模型而言，工业大模型泛化性强，可以单模型应对多任务，更适合长尾落地。另外，从工程层面来讲，工 业大模型的开发成本及维护成本，低于工业专用小模型。 1.3.2 工业大模型 07 01 工业人工智能 (AI) 行业观察 技术在工业领域的应用推向了新的发展阶段。其具体落地将会以基础大模型为技术底座，融合工业细 分行业的数据和专家经验，形成垂直化、场景化、专业化的工业大模型。工业大模型相对基础大模型具有参数量少、专业度 高、落地性强等优势，可以为工业垂直领域的技术突破、产品创新、生产变革等提供低成本解决方案。 尽管传统 AI 技术和大模型在解决各种工业问题方面，从理论上讲存在诸多明显优势，但是要将 AI 技术和大模型真正成功落 CPU 负责小脑： • 负载：实时控制，轨迹规划，运控算法，步态算法，实时控制。 • CPU 是通用处理器，设计用于处理各种类型的计算任务。具有较少的核心，但每个核心的计算能力较强， 适合执行顺序性强的复杂任务。 • CPU 通常负责机器人的高级决策逻辑、任务规划、运动规划、传感器数据的融合处理等。 • CPU 也负责协调其他处理器的工作，如分配任务给 GPU 或 NPU。 45 02 英特尔