核心观点 DeepSeek 开源、低成本、强推 理 助推银行业应用 1 n DeepSeek 模型在 Post-Train 阶段大规模应用了强化学习方法。 R1 使用了冷启动 + 大规模强化学习方法， R1-Zero 版 本模 型使用纯强化学习方法。随训练过程推进，模型展现出了推理能力的扩展（高准确率和 long-CoT 能力涌现等） 。 图表：随步数提升 R1-Zero 的 AIME 任务准确度 任务准确度 图表：深度思考能力提升 性能：后训练阶段大规模应用强化学习，表现推理能力扩展 资料来源： DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning ，中泰证券研究所 资料来源： DeepSeek-R1: 理中的成本更具优势。 它在 MoE 架构的基础上， 通过多头潜注意力机制（ Multi-Head Latent Attention ， MLA ）进行优化；在后训练阶段采用冷启动 + 大规模强化学习 方 式，不再使用传统 SFT 做大规模监督微调， 甚至绕过了一些 CUDA ，采用 PTX 汇编来提升能力；在推理场景下通过 大规模 跨节点专家并行（ Expert Parallelism

DeepSeek 智能体开发通用方案旨在构建一套高效、灵活且可 扩展的智能化解决方案，以满足企业在复杂业务场景中对智能决 策、自动化处理和数据分析的需求。该方案基于先进的人工智能技 术，结合深度学习、强化学习以及自然语言处理等核心技术，能够 实现对多样化数据的实时处理与智能化分析，从而提升企业的运营 效率与决策质量。 项目的核心目标是通过模块化设计和可配置策略，为企业提供 定制化的智能体开发服务。智能体将具备自主学习能力，能够根据 为实现上述目标，项目将分为三个阶段推进： - 第一阶段：完成智能体基础框架的搭建，包括数据采集、预处理 模块以及核心算法的初步实现，确保智能体具备基本的多模态数据 处理能力。 - 第二阶段：优化智能体的决策引擎，引入强化学习与迁移学习技 术，提升其在复杂场景中的适应性，并通过模拟测试验证其性能。 - 第三阶段：完成智能体的资源调度与部署优化，确保其在实际生 产环境中能够高效运行，并通过用户反馈持续迭代优化。 此外，项目还将重点关注以下性能指标： 块还需实现数据质量管理，包括异常检测、数据补全和去重等。 智能决策模块是 DeepSeek 智能体的核心，主要利用机器学 习、深度学习等技术进行模式识别和预测分析。开发时需要根据业 务需求选择合适的算法模型，结合强化学习、迁移学习等前沿技 术，实现动态优化。模型训练和推理过程应支持分布式计算，以提 高处理效率。响应执行模块则负责将智能决策结果转化为实际操 作，如自动化控制、通知发送等。此模块需具备高可靠性和实时

展方向进行讨论与总结. 关键词 大语言模型, 大型视觉模型, 基础模型, 具身智能, 机器人 引用格式 王文晟, 谭宁, 黄凯, 张雨浓, 郑伟诗, 孙富春. 基于大模型的具身智能系统综述. 自动化学报, 2025, 51(1): 1−19 DOI 10.16383/j.aas.c240542 CSTR 32138.14.j.aas.c240542 Embodied Intelligence 它在给定体素化场景的 情况下, 学习应该“放大”场景的哪一部分. 通过迭 代应用这种“放大”行为, 实现了对平移空间的几乎 无损的离散化, 使得在连续机器人领域中可以使用 离散的强化学习方法, 取代了训练时往往样本效率 低且不稳定的连续控制强化学习方法. 然而由粗到 细的方案无法提供全局感受野, 在理解场景方面存 在缺陷. 针对这个问题, PerAct[87] 使用基于 Trans- former 体素编码器得到体素特征 不断地掌握新技能和更难达成的目标. 2.2 任务级 任务级负责完成各项具体的任务, 如抓取、导 航、定位等. 在一些工作如 ViLA[30] 中, 这些任务由 预定义的技能完成, 而相应的技能由强化学习、行 为克隆等方式学习得到. 在其他工作中, 子任务仍 然由大模型完成. OK-Robot[69] 构造了一个开放知识机器人系统, 它结合多种在公开数据上训练的基础模型, 并用于 在真实世界环境中拾取和放置物体

4.1.1 深度学习模型.............................................................................53 4.1.2 强化学习与组合优化..................................................................55 4.2 训练流程与技术............ 提 升调度策略的整体效率。 3. 迁移学习模型：对于设备故障诊断，可以采用预训练的深度学 习模型，通过迁移学习方式，针对少量故障数据进行再训练， 快速适应特定环境和设备。 4. 强化学习模型：强化学习对于优化调度策略及现场决策支持的 场景表现优越，能够通过实时反馈不断调整策略，提高整体运 行效率。 在确定模型后，接下来便是模型的训练过程。我们需要进行数 据预处理，确保数据的质量和适用性。对于时序数据，首先要进行 做好数据的划分，建议采用 70%的数据用于训练，15%用于验 证，15%用于测试。 训练过程中的参数调整也非常关键。我们可以通过下列步骤优 化训练效果：  超参数调优：使用网格搜索或随机搜索优化学习率、批大小、 层数等超参数。  交叉验证：利用 K 折交叉验证提高模型的泛化能力，避免过 拟合问题。  模型集成：可以考虑使用简易集成方法（如 Bagging 和 Boosting）

据资源，形成统一的生态监测与评估标准。 2. 推广智能传感器和物联网技术，实现生态监测的自动化和实时 化，及时获取环境数据并上传至云端进行处理。 3. 加强多模态 AI 模型的研发与应用，尤其是通过强化学习和迁 移学习的方法，解决生态数据稀缺问题，实现模型的不断优 化。 4. 通过政策引导和技术支持，提高公众参与的积极性，鼓励市民 积极向政府反馈环境问题，同时参与环保活动和项目，提高整 体生态环境治理的水平。 其次，工业化进程中产生的污染物是另一大生态破坏因素。传 统制造业和能源产业的快速发展，伴随着大量的废水、废气和固体 废物的排放，严重影响了水体和大气环境。研究表明，工业污染已 成为许多河流和湖泊水质恶化的主要原因。其中，重金属和化学物 质的累积，使得生态系统内的食物链受到威胁，最终影响到人类的 健康。 再者，过度开发自然资源也是不可忽视的原因之一。森林砍 伐、过度捕捞、矿产资源开采等活动，使得自然资源快速枯竭。这 不 传感器数据模态主要具有以下几个特点： 1. 高实时性：传感器能够以较高的频率收集数据，实时反映环境 的变化，使得系统能够迅速响应突发事件。 2. 数据多样性：不同类型的传感器能收集到不同的环境信息，数 据种类繁多，涵盖物理、化学、生物等多个维度。 3. 高维度：传感器数据的维度较高，往往需要通过多种传感器协 同工作，形成综合的环境评估模型。 4. 复杂性：传感器网络的布局和数据传输过程中可能受到多种因 素的影响，如

星火大模型的化学类课程专属智能 科教融合系统的开发与创新应用。《化学大模型与智能体：AI for chemistry》、《高等无机 化学》等多门 AI 课程利用大模型将复杂的课程教学内容进行结构化梳理，AI 学伴为学生提 供即时答疑服务；AI 助教为老师提供智能备课辅助，显著提升教学效率。同时，学校以星火 大模型为依托，聚焦师生教研所需，创设功能型 AI 智能体，如“魅力化学大师”“智能机器 智能体，如“魅力化学大师”“智能机器 化学家”“MWORKS 大师”等学科专属工具，赋能教师开展跨学科教学。学科工具的辅助使单 一教师可承担的教学范围明显扩大，尤其是在前沿交叉学科领域，有效突破了教师的能力边 界。 （二）基于 AI 课堂评价的智能巡课助力教学质量监测 为推动课堂教学模式向更高阶互动转型，北京航空航天大学依托智慧教室与讯飞 AI 教 学评价系统，实现了课堂教学全过程的无感巡查、动态监测与精准反馈。数据驾驶舱全景呈

定义对话状 态 • 网络的输入是 NLU 结果和上一步系统动作 • 网络的输出是下一步系统动作的概率分布 • 可通过有监督学习或强化学习的方法训练 • 需要大量真实的、标注的对话数据 基于深度强化学习的对话状态跟踪 [Williams 2016] • 任务型对话将用户的输入和系统的输出都映射为对话动作 • 通过对话状态来实现上下文的理解和表示

弱指数（RSI）等传统指标，并结合市场情绪分析，生成多维 度的特征向量。  模型训练与优化：DeepSeek 支持自动机器学习（AutoML） 功能，能够根据历史数据自动选择和调优模型参数。其内置的 强化学习模块还可以根据市场反馈动态调整交易策略，实现自 适应优化。通过并行计算和分布式训练，模型训练效率显著提 升，能够在短时间内完成大规模数据的训练任务。  实时决策与执行：DeepSeek 的实时决策引擎能够结合当前市 架，设计并训练多层次的神经网络模型。这些模型将针对不同的交 易策略进行优化，例如趋势跟踪、均值回归、套利策略等。模型训 练过程中，将采用动态调参机制，确保模型能够适应市场的快速变 化。同时，项目还将引入强化学习技术，使模型能够在实战中不断 自我优化，提升决策的精准度。 在交易执行层面，项目将开发一套自动化交易引擎，实现从信 号生成到订单执行的全程自动化。系统将支持多种交易指令类型， 包括市价单、 LSTM（长短期记忆网 络）和 GRU（门控循环单元）模型，DeepSeek 能够有效处理非线 性和非平稳的时间序列数据，提升对市场动态的预测能力。 其次，DeepSeek 引入了强化学习算法，通过与市场的实时交 互不断优化交易策略。在强化学习框架中，交易行为被视为一系列 的状态-动作对，系统通过最大化累积奖励来学习最优交易策略。 这种方法不仅能够适应市场的动态变化，还能够在高波动环境中保 持稳健的表现。具体而言，DeepSeek

............................... 7 图 3 单智能体强化学习原理图 .................................................................................... 7 图 4 多智能体强化学习原理图 ......................................... [Table_PicPe] 图2 AI Agent 智能体工作原理 资料来源：腾讯研究院，海通证券研究所 1.2 单智能体 vs 多智能体 单智能体与多智能体各具优势，适配于不同垂直领域。单智能体的强化学习原理是 基于马尔可夫决策来完成的，简单来说可以分为状态集 S、行动集 A、奖励 R，下一时 刻的状态和奖励只与上一时刻的行动有关，与更早之前的状态无关。其模型原理就是让 智能体用试错的方式来学习 每个智能体的目标是找到最优策略来使它在任意状态下获得最大的长期累积奖励。由于 其模型更为复杂，干扰因素较多等原因，目前多智能体模型商业化产品较少。 图3 单智能体强化学习原理图 资料来源：CSDN，海通证券研究所 图4 多智能体强化学习原理图 资料来源：CSDN，海通证券研究所 CrewAI 是世界领先的多智能体框架之一，在多智能体领域用于协调角色扮演型自主

速 在1月27日登顶第一名；截止1月30日，DeepSeek在 168个国家位居下载榜第一名 • DeepSeek-R1-Zero：一种通过大规模强化学习（RL ）训练的模型，没有监督微调（SFT）作为初步步骤， 展示了卓越的推理能力。通过强化学习，R1-Zero自然 而然地出现了许多强大而有趣的推理行为；但是，遇到 了可读性差和语言混合等挑战 • DeepSeek-R1：为了解决这些问题并进一步提高推理