，教师模型生成合成数据或伪标签 ，然后这些数据用于训练学 生 模型。 • 2. Logits 蒸馏 在 logits 蒸馏中 ，学生模型被训练来匹配教师模型的 logits ，而不仅仅是 最 终的预测。这种方法保留了更多关于教师模型置信水平和决策过程的信息。 • 3. 特征蒸馏 特征蒸馏涉及将教师模型中间层的知识转移到学生模型中。通过对齐两个模 型的隐藏表示 ，学生模型可以学习到更丰富和更抽象的特征。 智能营销与个性化推荐 - 生产优化与质量控制 - 供应链管理与库存优化 - 品牌故事与文化传播 - 智能客服与消费者互动 - 新品研发与口味预测 - 施工进度管理与优化 - 材料采购与供应链优化 - 客户需求分析与个性化服务 - 智能客服与售后支持 - 装修质量检测与问题预测 - 市场趋势分析与营销策略优化 DeepSeek 赋能各行业的应用场 景 • 2. DeepSeek 赋能房产装 修 - 智能设计与方案生成 风险管理与欺诈检测 - 客户服务与智能客服 - 信用评分与贷款审批 - 市场趋势分析与预测 - 自动化交易与算法交易 - 金融产品设计与定价 - 合规管理与报告生成 • 6. DeepSeek 赋能健康医 美 - 个性化治疗方案设计 - 客户管理与智能咨询 - 市场分析与需求预测 - 治疗效果预测与优化 - 智能营销与个性化推荐 - 健康数据管理与分析 - 医美产品设计与优化

工业化，预计从 2022 年至 2032 年，工业 AI 市场规模将以 46% 的年均复合增长率高速成长。 相较于发达国家，中国制造企业的 AI 应用率相对较低，大约在 11% 左右。Gartner 预测，到 2027 年，中国制造业的 AI 使 用渗透率将以 10% 的年复合增长率上升。 随着技术的不断进步和应用场景的拓展，我们认为工业 AI 有望成为推动工业 4.0 和智能制造发展的关键力量。 具体来看，AI 技术在工业领域的应用主要在以下几大方面： 研发与规划 • 需求分析与预测：基于历史数据和机器学习算法，构 建预测模型，通过分析大量用户数据和市场趋势，洞 察市场需求，预测未来趋势，精准定位产品的设计与 迭代方向。 • 优化研发流程管理：基于当前项目状态和历史数据建 立预测模型，预测每项任务的完成时间，并评估整个 项目的完成时间，有助于提前发现潜在延迟风险，让 团队 优化产品结构与应用模拟：通过形态识别技术，将 产品外形及特征转化为数据，辅助设计师不断优化 迭代。利用收集到数据构建数字孪生产品模型，模 拟产品的各种实际应用场景，如正常操作、极限性 能、潜在故障等，预测产品性能表现，进一步指导 设计改进。 1.2 工业 AI 的应用范畴 04 01 工业人工智能 (AI) 行业观察 生产过程管控 在生产过程管控方面，AI 技术的应用主要集中在提高生

⚫ 反事实推演：模拟“如果特斯拉降价 10%”对产业链的 6 级影响 实战场景： ⚫ 医疗诊断：输入症状自动关联相似病例，生成检查建议（需医生复核） ⚫ 投资分析：对比财报数据→预测企业风险→生成可视化报告 ⚫ 学术研究：自动标注论文参考文献，检测实验数据矛盾点 模块 3：联网搜索——实时情报局 数据引擎： ⚫ 抓取最新政策文件（如半小时前发布的医保新规） ③创业者：零成本搭建专业团队 ⚫ 商业计划书：输入“智能家居赛道 BP 模板，包含市场规模、竞品矩阵、融资计划” →生成投资人青睐的文档框架 ⚫ 市场调研：输入“2025 年中国宠物食品消费趋势预测”→自动抓取电商平台数据生 成报告 ⚫ 法律风控：上传合伙协议→输入“检测股权分配风险点”→标注条款漏洞并提供修改 建议 2.进阶赋能：从工具使用到系统重构 DeepSeek 安全，震 动反馈识别机械故障 ⚫ 时空穿越能力：结合历史数据与预测模型，企业可“预览”三个月后的市场格局 ③社会操作系统 ⚫ 城市智能中枢：在深圳试点中，DeepSeek 实时优化 1300 个红绿灯，早高峰通勤 时间缩短 28% ⚫ 危机预警网络：通过分析社交媒体情绪波动，提前 48 小时预测群体事件 2.产业重构：从竞争到共生的生态革命 DeepSeek

模块串联保持完整的因果关系链 ② 训练策略 • 每个 MTP 模块输出预测 token 的概率分布 • 每个 MTP 模块计算对应的交叉熵损失函数 • 多个 MTP 模块的损失函数加权平均得到最终训练目标 ③ 关键作用 • 提升每批训练数据的使用效率 ，强化训练信号 • 优化模型表达能力 ，提升 next-token 的预测效果 • 可参考投机采样改造 MTP 模块 ，加速推理效率 ，加速推理效率 MTP ： Multi-Token Prediction 多 token 预测提升模 型效果 • MTP 模块仅在训练中使用，提升模型训练效果，推理阶段可以不使用 MTP 模块，基础模型能够独立完成正常推 理 • 参考投机采样， MTP 模块也可以被重新配置用于 speculative decoding ，加速解码过程，降低整体时延 7 Huawei Proprietary ，大幅提升从训练到推理的计算效率，降低模型创新及应用落地的门槛 降低学习复杂度 简化强化学习流程 降低后训练复杂度 推理优化 单次推理效率倍级提升 一次预测多个 token 推理倍级提升 FP16/BF16 1 前 1 后单流水 需要裁判模型评估 1 次 1token 预测 MHA/GQA 分组共享减少缓存 GPT4 16 专家选 2 FP8 混合精度 双向流水并行 新老策略组队评估 1 次多 Token

➢模型首先采样潜在的推理路径（rationale）的过程类似于 RL 中通过策略选择动作（action），基于 环境状态选择一个可能的策略路径。 ➢STaR 中，通过计算目标函数，模型对整个数据集的预测结果进行评估，并且只根据预测正确的样 本更新模型。 ➢STaR 在同一批数据上进行多次梯度更新，这类似于某些策略梯度算法中的策略，即通过多次调整 同一批数据来稳定学习过程。 [1] STaR: Bootstrapping DeepSeek-V3 ➢ FP8混合精度训练 + 多Token预测 ➢ 把主要计算量、比较大的核 心矩阵乘法都用FP8去计算。 ➢ 多Token预测允许模型一次预 测多个Token，从而提高了模 型对语言结构的理解能力， 更好地捕捉语言中的长距离 依赖关系 ➢ 可以用于推理加速。在推理 过程中，模型可以通过一次 预测多个Token来减少计算量， 从而提高推理速度。 [1] DeepSeek-V3

更庞大的数据集或任务。 大模型通常能够学习 到 更细微的模式和规律 ，具有更强的泛化能力和表达能力 学习能力强 大模型可以从大量的数据中学习， 并利用学到的知识和模式来提供 更精准的答案和预测 。这使得它 们在解决复杂问题和应对新的 场 景时表现更加出色 上下文理解能力 大模型具有更强的上下文理解能 力 ，能够理解更复杂的语意和语 境 。这使得它们能够产生更准确、 大模型可以用于信用评估、欺诈检测等任 务 。通过分析大量的金融数据 ，大模型 可 以评估用户的信用等级和风险水平， 以及 检测欺诈行为，提高金融系统的安 全性和 稳定性 大模型可以用于医疗影像诊断、疾病预测 等任务 。通过学习大量的医学影像数据 ， 大模型可以辅助医生进行疾病诊断和治 疗 方案制定，提高医疗水平和效率 型可以实现对车辆周围环境的感知和识别， 以及进行决策和控制，提高自动驾驶的安 序列分析（识别基因中的功能元件和变异 位点） 、蛋白质结构预测（推测蛋白质 的 二级和三级结构） 、药物研发（预测分 子 与靶点的相互作用）等 大模型可以用于质量控制、故障诊断等任 务 。通过学习大量的工业制造数据 ，大 模 型可以辅助工程师进行产品质量控制 和故 障诊断，提高生产效率和产品质量 在气候研究领域 ，大模型可以处理气象 数 据 ，进行天气预测和气候模拟 。 它们能 够 分析复杂的气象现象，提供准确的气

■ 算力受限，近几年咬住会更难 ( 大家宽容些 ) ■ 突破工艺卡脖子，实现“战术穿插” +“ 火力覆盖” ■ 中芯国际等硬核大厂突破工艺卡脖子 ■ 华为等算力公司提供高算力密度 ■ 个人预测 Al 竞赛结果 ■ 以中国的工业化水平，站着把 Al 的钱给挣了。 ■ “健身可以让 SB 跟你好好说话”→ ■“ 突破模型、算力卡脖子可以让 A 国跟咋们好好说话” DeepSeek