Unified multimodal LLM with discrete sequence modeling. ACL, 9637-9662 (2024). 7. Zeng, Z. et al. Scaling of search and learning: A roadmap to reproduce o1 from reinforcement learning perspective. ArXiv Imitating and exploring the human brain's resting and task-performing states via brain computing: scaling and architecture. Nat. Sci. Rev. 11, nwae080 (2024). 第二章 AI 前沿 4. AI 内生安全 4.1 背景 面对新一轮生成式人工智能浪潮，如 化和物理可解释性的主动学习策略；自动符 号回归的元理论生成，建立基于拓扑数据分 析的元定律发现框架。 突破路径：引入物理约束的 AI 模型， 提升模型的解释性和科学性。 1. Merchant, A. et al. Scaling deep learning for materials discovery. Nature 624, 80-85 (2023). 2. Pfau, D. et al. Accurate computation

等。这些模型基于大型复杂的深度神经网络结构，采用互联网上海量的 数据训练，并辅以大量的人工反馈对模型进行优化和改进，最终训练出具有数十亿甚至数万亿 个参数的模型。受益于海量数据、海量参数、海量算力的“Scaling Law”效应 [1]，生成式 AI 具有更好的表达能力和更泛化的任务能力。 彭博行业研究数据显示，随着企业改变经营方式并对产品和服务进行强化，未来 10 年， 生成式 AI 有望在硬件、软件、服务、广告、游戏等众多领域创造 Yasaman; Dyer, Ethan; Kaplan, Jared; Lee, Jaehoon; Sharma, Utkarsh (2021-02- 12). "Explaining Neural Scaling Laws". arXiv:2102.06701 [cs.LG]. [2] Generative AI to Become a $1.3 Trillion Market by 2032, Bloomberg

大模型的巨量迭代引发智算集群架构变革 实现通用人工智能（AGI, Artificial General Intelligent）已成 为大模型未来发展方向的广泛共识。大模型技术总体仍遵循扩展法则 （Scaling Law），参数已迈向万亿甚至十万亿规模，对智能算力的需 求呈现爆炸式增长。如下图所示，模型参数规模的增长速度约每两年 400倍，其算法结构在原有Transformer的基础上，引入扩散模型、专

1. 单位统一化：将所有数据转换为统一的标准单位，例如将体温 统一为摄氏度，将体重统一为千克。 2. 归一化处理：将数据映射到特定的范围内，常用的方法有最 小-最大归一化（Min-Max Scaling ）和 Z-score 标准化。最 小- 最大归一化将数据线性变换到 [0, 1] 区间，而 Z-score 标 准化则将数据转换为均值为 0 、标准差为 1 的分布。

“低成本、高性能、开源共享”的技术路线轰动全球，其在硬件条件有限的情况下， 通过混合专家架构（MoE）和强化学习等技术，实现了训练效率的大幅提升和算力 成本的有效缩减。这不仅引发了科技界对于Scaling Law是否依然有效的质疑，更 促使国内外基础模型厂商加快调整竞合策略，提高各自模型服务的成本效益。例如， 国内多家互联网大厂和大模型创企宣布将旗下产品接入DeepSeek-R1，上线“深