5 回顾：Pre-Training Scaling Law ➢ Pre-Training Scaling Laws: 预训练模型上广泛观察到的现象，协调了计算量C、模 型参数量N和数据大小D之间的关系 6 回顾：Post-Training Scaling Law ➢ Post-Training 阶段，随着训练时计算量（来自RL的Training阶段）和 Test-Time 计算量 （例如Test-Time 力的位置猜测任务；以及涉及复杂图表理解的数据分析任务等。这些数据集提升了模型在真实世界场景中的视 觉推理能力。 ➢ 合成视觉推理数据 是人工生成的，包括程序化创建的图像和场景，旨在提高特定的视觉推理技能，例如理解 空间关系、几何模式和物体交互。这些合成数据集提供了可控环境，用于测试模型的视觉推理能力，并且可以 无限生成训练样本。 ➢ 文本渲染数据 是通过将文本内容转换为视觉格式创建的，使模型能够在不同模态下保持一致的文本处理能力。 理想的数据构建应当覆盖广泛的类别，并且难度分级明确，这有利于实现类似课程学习的效果，逐步提高模 型的能力。 ➢ 在奖励建模时，必须确保基于奖励模型的奖励机制不会被轻易攻陷。平衡推理长度与推理正确率之间 的关系。例如，针对一个序列中的下一个动作，若存在一个是错误答案而另一个是正确答案的情况， 传统的方法会倾向于提升选择正确答案的概率，同时降低选择错误答案的概率。然而，从推理长度的 角度来看，有时选择看似错

法国的首都是哪里 ？ ” （答案直接 、 无需推导 ） 推理问题： ” 一列火车以每小时 60 英里的速度行驶 3 小时 ， 行驶距离是多少？ ” （需先理解 ”距离 = 速度 × 时间 ” 的关系 ， 再分步计算） Sebastian Raschka 博士（ Lightning AI 的首席教育学家） 将“推理”定义为通过生成中间步骤来回答复杂问 题的过程 通用的大语言模型（ LLM AIGC 在辅助编程中的应 用 5.7 AI 搜索 5.8 AI 智能办公 5. AIGC 应用与实 践 厦门大学大数据教学团队作品 5.1.1 什么是 AIGC 5.1.2 AIGC 与大模型的关系 5.1.3 常见的 AIGC 应用场 景 5.1.4 常见的 AIGC 大模型 工具 5.1.5 AIGC 大模型的提示词 5. 1 AIGC 概 述 厦门大学大数据教学团队作品 AIGC 的全称为“ 大模型与 AIGC 之间的关系可以说是相辅相成、 相互促进的。 大模型为 AIGC 提供了强大的技术基础和支撑， 而 AIGC 则进一步推动了大模型的发展和应用 大模型和 AIGC 的结合 ， 也带来了广泛的应用前 景 AIGC 的需求也推动了大 模型的发展 大模型为 AIGC 提供了丰 富的数据资源和强大的 计 算能力 5.1.2 AIGC 与大模型的关系 03 01 02

① 模型结构 • 每个 MTP 模块共享嵌入层和输出头 • 每个 MTP 模块独占一个 Transformer Block 和一个投影矩阵 • 多个 MTP 模块串联保持完整的因果关系链 ② 训练策略 • 每个 MTP 模块输出预测 token 的概率分布 • 每个 MTP 模块计算对应的交叉熵损失函数 • 多个 MTP 模块的损失函数加权平均得到最终训练目标 支持 2 级框盒、框框组网，适用于大规模及超大规模集群 3 、 AI 任 务信 息 任务、通信域 … 1 、控制器获取网络拓扑， 下 发路径 信息 2 、 AI 任 务调 度 以全部通信关系和拓扑信息作为输入 通过算法计算出最优结果，实现 AI 参数面全网负载均衡 算网协同 • 网络级负载均衡：独家 NSLB 算法， 算网协 同 调度，多任务节点非连续组网情况下，通信 带宽

功能：用于开发本地 RAG 应用程序 ，支持多模态内容摄取、 混合搜索、知识图谱构建、 GraphRAG ，具备用户管理、 可 观测性、配置及可视化交互等功能 ，适用于处理动态数 据和 复杂实体关系的应用程序。 • 2. Cognita ：官网： https://cognita.truefoundry.com/ • 功能：模块化框架 ，提供定制化管道 ，用于构建可扩展且生 产就绪的

-新疆牧民通过 AI 语音助手实现畜牧疾病远程诊断，死亡率降低 62% 六、未来图景与人类共生 1.技术进化：从工具到伙伴的范式跃迁 DeepSeek 的持续迭代正在重新定义人机关系，其技术发展呈现三大趋势： ①认知协作革命 ⚫ 智能增强：通过脑机接口技术，用户可直接用思维操控 DeepSeek 生成方案，写 作效率提升 10 倍 ⚫ 记忆外延：个人知识库与

架构。Transformer 架构通过引入自注意力 (Self-Attention) 机制，在处理序列数据时，能同时 关注输入序列的所有元素，并直接建立任意两个元素之间的联系，从而捕捉序列中的长距离依赖关系，实现对输入序列的 高效处理和理解。由于不依赖序列顺序，Transformer 架构在模型训练和推理时的并行处理能力更强，效率更高。 2. 参数规模大。大模型通常包含数千万、数亿甚至更多参数；巨 型交互，完善创意灵感，生成 3D 汽车数字模型，并能对模型进行风格调整、零部件编辑及颜色更换等操作。这能 使原本需要 1-2 年的设计周期大幅缩短。 车身表面的涂漆质量是衡量整车品质的重要指标之一，它不仅关系到车辆的美观性，更事关车辆的防腐性、耐久性 等问题。漆面喷涂环节工艺繁多复杂，易出现颗粒、缩孔、焊渣、脏污等各类缺陷，进而影响整车外观甚至漆面的 耐久性。 传统的人工漆面缺陷检测方法，受检测人 汽车零部件和整车的性能，不仅关乎驾驶性能和体验，更关乎生命安全。因此，必须保证汽车零部件完好无缺陷， 整车装配高度精准可靠，确保每一个部件都符合严格的安全标准。 例如，轮毂是汽车的重要组成部分，其质量直接关系到汽车的安全性和使用寿命。在轮毂的生产制造中，容易产生 划痕、擦伤、气孔、毛刺、喷涂不到位、黑点等外观缺陷。缺陷的多样性、表面反光的干扰以及生产线上的实时检 测要求，使得效率和准确率低下且容易漏