可以进一步将这种思路扩展到思考过程是搜索过程的特例，比如 rStar-Math, SoS 都可以用类似的思路来理解。 ➢ 本质上，STaR一类的方法是希望模型能够学习到MetaCoT, 即问题到答案映射 过程背后的深入规律 ➢ 但是对于问题的结构要求性高，对于复杂数学推理任务可能难以自我迭代 ➢ 难以融入 Rule-Based Reward for RL训练 ➢ PureRL加持下，业界的技术实践更多Focus on 直接利用SFT蒸馏可以学习到数据中的推理范式，虽然在推理分数上的表现有所提升，但是更多是去拟合数 据中的Pattern, 很难学习到数据背后的数学规律和MetaCoT ➢ 强化学习则是通过试错和尝试，鼓励模型在最大化奖励过程中学习到推理背后的规律，获得的泛化性和推理 表现上界更高 ➢ SFT 主要负责记忆而很难进行OOD泛化，基于ORM的RL泛化能力较好 [1] ➢ SFT规范模型输出格式，使得后续的RL可以获得更高的收益 单智能体系统下 的安全，并不保证多智能体系统安全 \AI系统伪装已被“安全对齐”，行为欺骗监管 ➢ 随着 VLA \ Agent 等模型下游和赋能应用兴起，确保模型AI系统准确应对不确定性，考虑物理规律下的人 类价值观对齐至关重要 ➢ 在复杂动态环境中不仅要短期安全，还要确保长期行为的安全性，例如对操作环境造成影响。 ➢ 通过形式化验证和RL，提升AI系统的可靠性与处理复杂推理问题的能力。通过构建形式化数学数据库，

240 GB/s 较好 无 12 万 英伟达 H800 1000T=1015 80GB 900 GB/s 好 有 25 万 人工智能计算平台成本估计 算力 存力 运力 ■ 大模型扩展规律 ( 资本非常喜欢确定性故事 ) ■ 算力：算力越大 (X 轴 ), 模型效果越好 (Test Loss 小 ) ■ 数据集：数据集越大 (x 轴 ), 模型效果越好 ■ 模型参数：参数越多

大模型的概 念 训练数据量大 计算资源需求高 参数数量庞大 大模型的设计和训练旨在提供更强大、 更准确的模型性能 ， 以应对更复杂、 更庞大的数据集或任务。 大模型通常能够学习 到 更细微的模式和规律 ，具有更强的泛化能力和表达能力 学习能力强 大模型可以从大量的数据中学习， 并利用学到的知识和模式来提供 更精准的答案和预测 。这使得它 们在解决复杂问题和应对新的 场 通用大模型 L0 是指可以在多个领域和任务上通用 的大模型 。 它们利用大算力、使 用 海量的开放数据与具有巨量参 数的 深度学习算法，在大规模无 标注数 据上进行训练， 以寻找特 征并发现 规律 ，进而形成可“举一 反三” 的强 大泛化能力 ，可在不 进行微调或少 量微调的情况下完 成多场景任务 ， 相当于 AI 完成 了“通识教育” 行业大模型 L1 是指那些针对特定行业或领域的大 的 绘图软件 （如 R 语言 、 Python 等） 的绘图代码 。 无论是趋势图 、 热力图 ， 还是散 点图 ， DeepSeek 都能在复杂数据中提炼出关键信息 ，支持科研人员更快速地识别研究规律 DeepSeek 能够快速根据关键词检索相关文献 ，并按照相关性、 引用次数等指标对结果进行排序。 其独特的语义检索功能 ， 能更精确地理解用户需求 ， 提供高质量的文献结果 ， 减少传统文献检