的作用 从文本模态到多模态 其他讨论： Over-Thinking 过度思考等 未来方向分析探讨 模态穿透赋能推理边界拓展： Align-DS-V 合成数据及 Test-Time Scaling: 突破数据再生产陷阱 强推理下的安全：形式化验证 Formal Verification \ 审计对齐 Deliberative Alignment Outline Post-Training 时代下的 RL 新范式：后训练扩展律 Post-Training Scaling Law DS-R1 独立发现了一些通往 o1 路上的核心理念，并且效果还好到受到了 OpenAI 的认可 如何通过有效的 Test-Time Scaling 和 Train-Time Scaling 提升模型的推理能力？ 得益于纯大规模强化学习 ， DeepSeek-R1 具备强大 4 Pre-Training Scaling Laws: 预训练模型上广泛观察到的现象，协调了计算量 C 、 模 型参数量 N 和数据大小 D 之间的关系 回顾： Pre-Training Scaling Law

DeepSeek出现之前 我们对大模型发展趋势的十大预判 13 政企、创业者必读 14 DeepSeek出现之前的十大预判 之一 传统AGI发展步伐在放慢 需要寻找新方向  Scaling Law边际效应递减  人类训练数据接近枯竭  合成数据无法创造新知识  推理能力难以泛化，成本高昂 全面超越人类的人工智能在逻辑上不成立 政企、创业者必读 15 DeepSeek出现之前的十大预判 25 颠覆式创新的四种方式 政企、创业者必读 DeepSeek-R1突破了大模型Scaling Law瓶颈 导致大模型悲观论 认为大模型的能力无法进一步得到质的提升 开辟强化学习新范式 从预训练Scaling Law转变为强化学习Scaling Law 大数据+大参数+大算力的 预训练Scaling Law的边际效应递减 • 人类构造的训练数据已达上限 • 万亿参数规模之后，继续增大参数规 训练算力成本和工程化难度大幅上升 强化学习Scaling Law • 利用合成数据解决数据用尽问题 • 利用self-play强化学习，在不增大参 数规模前提下，大幅提升复杂推理能力 • 通过后训练算力和推理算力，在不增加 预训练算力前提下，大幅提升模型性能 DeepSeek颠覆式创新——技术创新 26 政企、创业者必读  预训练模型如GPT——疯狂读书，积 累知识，Scaling law撞墙  预训练模型思考深度不够

www.iresearch.com.cn 中国人工智能产业技术环境（2/2） Scaling Law是否失效？思维链、强化学习、后训练可提升模型训练ROI 来源：艾瑞咨询研究院自主研究绘制。 AI技术动态 Scaling Law 演进：Scaling未到尽头，各家仍在积极探索，探索大模型能力边界 思维链 CoT 优化：强化学习完成推理侧优化，在复杂计算、科学研究等方向持续加强 研究等方向持续加强 跨模态响应：将大语言模型、视觉理解模型及和视觉生成模型等能力实现高阶融合 • 大模型Scaling Law表示，增加计算量、模型参数量或数据大小都可能会提升模型性能，但是提升效果会随着这些因素的增加而递减。虽然 Scaling Law原理给大模型能力演进限制了阈值空间，但仍有头部厂商在加大模型参数、数据规模和算力资源的投入，延续大力出奇迹的大 模型训练之路。2025年2月，OpenAI推出GPT 逻辑性、有意识 • 推理模型加强推理思考能力， 思考形态往系统二倾斜 95% 5% 自大模型发布以来，Scaling Law成为模型层发展迭代共识，国内大模型基座厂商均通过不断加大参数量级以获得模型能力的优化增强。 2024年，随着大模型的训练脚步变缓，人们也开始关注讨论Scaling Law是否存在失效风险。而以国内外头部厂商的技术动态为标杆，我 们可以看到大模型的参数规模与数据跨度仍有提

www.iresearch.com.cn 中国人工智能产业技术环境（2/2） Scaling Law是否失效？思维链、强化学习、后训练可提升模型训练ROI 来源：艾瑞咨询研究院自主研究绘制。 AI技术动态 Scaling Law 演进：Scaling未到尽头，各家仍在积极探索，探索大模型能力边界 思维链 CoT 优化：强化学习完成推理侧优化，在复杂计算、科学研究等方向持续加强 研究等方向持续加强 跨模态响应：将大语言模型、视觉理解模型及和视觉生成模型等能力实现高阶融合 • 大模型Scaling Law表示，增加计算量、模型参数量或数据大小都可能会提升模型性能，但是提升效果会随着这些因素的增加而递减。虽然 Scaling Law原理给大模型能力演进限制了阈值空间，但仍有头部厂商在加大模型参数、数据规模和算力资源的投入，延续大力出奇迹的大 模型训练之路。2025年2月，OpenAI推出GPT 逻辑性、有意识 • 推理模型加强推理思考能力， 思考形态往系统二倾斜 95% 5% 自大模型发布以来，Scaling Law成为模型层发展迭代共识，国内大模型基座厂商均通过不断加大参数量级以获得模型能力的优化增强。 2024年，随着大模型的训练脚步变缓，人们也开始关注讨论Scaling Law是否存在失效风险。而以国内外头部厂商的技术动态为标杆，我 们可以看到大模型的参数规模与数据跨度仍有提

DeepSeek-R1 采用分阶段强化学习架构演进，包括冷启动阶段、面向推理的强化学习、拒绝采样 与监督式微调、全场景强化学习等。 l AI 应用爆发在即，算力需求持续攀升，关注 ASIC 及服务器产业链。 Scaling Law 与“涌现”能力是大模型训练遵循的重要法则，随着 ChatGPT 引领全球 AI 浪潮， 国内外科技公司纷纷发布 AI 大模型，截至 24 年 7 月，全球 AI 大模型数量约 1328 2 元 8K - AI 应用爆发在即，算力需求持续攀升，关注 ASIC 及服务器产业 链 请务必阅读正文之后的免责声明及其项下所有内容 l Scaling Law ：模型效果随模型规模指数增加而线性提高。据 OpenAI 发布的论文《 Scaling laws for neural language models 》，模型性能极大依赖训练规模，模型参数、数据集大小以及用于训练的计算量增 加 Arxiv （ 2020 ） -P3 ，国信证券经济研究所整理 参数量 （十亿） GPT-4 PanGu-Sigma Ernie 4.0 BingChat* PaLM2 Titan Scaling Law 与“涌现”能力：大模型训练遵循的重要法则 请务必阅读正文之后的免责声明及其项下所有内容 2022/8/27 2022/12/5 2023/3/15

大约 3-5%，这意味着 Pre-Training Scaling Law 和 Post-Training Scaling Law 可能已经达到尽头，或至少是其边际效益已经 降的很低。但随着 OpenAI O1/O3 的出现，尤其是 DeepSeek R1 的横空出世，人们发现 Reasoning（Test-Time） Scaling Law 还继续有效。对智能算力的使用，预判以后主要将

market forces. These technologies all play a more muted role in this year’s forecast, only really scaling in the 2040s. In contrast, cheap renewable electrons, stored when necessary in ever-cheaper batteries demand. Beyond 2030 Looking further ahead, the dynamics are increasingly shaped by technology scaling and cost. Each shift in process node — from mainstream 14–22 nm designs to advanced 5–10 nm, and The Indian Subcontinent shows a decline in BTM share of total solar additions over time, due to scaling of utility-scale solar outpacing distributed systems South East Asia 0 10 20 30 40 50 60

模型的效果会随着三者的指数增加而线性提高，这种现象被称为 Scaling Law（缩 放能力）。 请务必阅读正文之后的免责声明及其项下所有内容 证券研究报告 6 图2：过去五年 LLM 模型参数快速增长 图3：参数量的指数提升线性提高模型性能 资料来源：Sunyan’s Substack，国信证券经济研究所整理 资料来源：《Scaling laws for neural language models》，国信证

Confidential & Proprietary. Do not reproduce or distribute. 4. 未来挑战与趋势 DeepSeek驱动的AI浪潮下，智算中心的发展： 1. Scaling Law的主导地位 d 算法效率提升：DeepSeek等算法优化并未抑制算力需求。 d 用户与场景增加：推动大模型普及，带动智算中心、边缘及端侧算力建设。 d 算力需求增长：算力需求持续攀升。

较⾼⽔平后长尾数据的缺失问题 • 效果最差，主要用于⽆法获取数据的情况， 在预训练后补充不同驾驶环境的知识 空间智能概览 自动驾驶 3D⽣成 具身智能 扩展现实（XR） 世界模型 自动驾驶已经出现清晰的空间智能Scaling Law，接管里程随底层算⼒扩 展和强化学习新进展快速增加，在百万卡集群支撑下将超过⼈类⽔准 12 信息来源：量⼦位智库，Tesla，1）H100等效算⼒ V12 V13.5/V14 V13