核心观点 DeepSeek 开源、低成本、强推 理 助推银行业应用 1 n DeepSeek 模型在 Post-Train 阶段大规模应用了强化学习方法。 R1 使用了冷启动 + 大规模强化学习方法， R1-Zero 版 本模 型使用纯强化学习方法。随训练过程推进，模型展现出了推理能力的扩展（高准确率和 long-CoT 能力涌现等） 。 图表：随步数提升 R1-Zero 的 AIME 任务准确度 任务准确度 图表：深度思考能力提升 性能：后训练阶段大规模应用强化学习，表现推理能力扩展 资料来源： DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning ，中泰证券研究所 资料来源： DeepSeek-R1: 理中的成本更具优势。 它在 MoE 架构的基础上， 通过多头潜注意力机制（ Multi-Head Latent Attention ， MLA ）进行优化；在后训练阶段采用冷启动 + 大规模强化学习 方 式，不再使用传统 SFT 做大规模监督微调， 甚至绕过了一些 CUDA ，采用 PTX 汇编来提升能力；在推理场景下通过 大规模 跨节点专家并行（ Expert Parallelism

DeepSeek 智能体开发通用方案旨在构建一套高效、灵活且可 扩展的智能化解决方案，以满足企业在复杂业务场景中对智能决 策、自动化处理和数据分析的需求。该方案基于先进的人工智能技 术，结合深度学习、强化学习以及自然语言处理等核心技术，能够 实现对多样化数据的实时处理与智能化分析，从而提升企业的运营 效率与决策质量。 项目的核心目标是通过模块化设计和可配置策略，为企业提供 定制化的智能体开发服务。智能体将具备自主学习能力，能够根据 为实现上述目标，项目将分为三个阶段推进： - 第一阶段：完成智能体基础框架的搭建，包括数据采集、预处理 模块以及核心算法的初步实现，确保智能体具备基本的多模态数据 处理能力。 - 第二阶段：优化智能体的决策引擎，引入强化学习与迁移学习技 术，提升其在复杂场景中的适应性，并通过模拟测试验证其性能。 - 第三阶段：完成智能体的资源调度与部署优化，确保其在实际生 产环境中能够高效运行，并通过用户反馈持续迭代优化。 此外，项目还将重点关注以下性能指标： 块还需实现数据质量管理，包括异常检测、数据补全和去重等。 智能决策模块是 DeepSeek 智能体的核心，主要利用机器学 习、深度学习等技术进行模式识别和预测分析。开发时需要根据业 务需求选择合适的算法模型，结合强化学习、迁移学习等前沿技 术，实现动态优化。模型训练和推理过程应支持分布式计算，以提 高处理效率。响应执行模块则负责将智能决策结果转化为实际操 作，如自动化控制、通知发送等。此模块需具备高可靠性和实时

展方向进行讨论与总结. 关键词 大语言模型, 大型视觉模型, 基础模型, 具身智能, 机器人 引用格式 王文晟, 谭宁, 黄凯, 张雨浓, 郑伟诗, 孙富春. 基于大模型的具身智能系统综述. 自动化学报, 2025, 51(1): 1−19 DOI 10.16383/j.aas.c240542 CSTR 32138.14.j.aas.c240542 Embodied Intelligence 它在给定体素化场景的 情况下, 学习应该“放大”场景的哪一部分. 通过迭 代应用这种“放大”行为, 实现了对平移空间的几乎 无损的离散化, 使得在连续机器人领域中可以使用 离散的强化学习方法, 取代了训练时往往样本效率 低且不稳定的连续控制强化学习方法. 然而由粗到 细的方案无法提供全局感受野, 在理解场景方面存 在缺陷. 针对这个问题, PerAct[87] 使用基于 Trans- former 体素编码器得到体素特征 不断地掌握新技能和更难达成的目标. 2.2 任务级 任务级负责完成各项具体的任务, 如抓取、导 航、定位等. 在一些工作如 ViLA[30] 中, 这些任务由 预定义的技能完成, 而相应的技能由强化学习、行 为克隆等方式学习得到. 在其他工作中, 子任务仍 然由大模型完成. OK-Robot[69] 构造了一个开放知识机器人系统, 它结合多种在公开数据上训练的基础模型, 并用于 在真实世界环境中拾取和放置物体

4.1.1 深度学习模型.............................................................................53 4.1.2 强化学习与组合优化..................................................................55 4.2 训练流程与技术............ 提 升调度策略的整体效率。 3. 迁移学习模型：对于设备故障诊断，可以采用预训练的深度学 习模型，通过迁移学习方式，针对少量故障数据进行再训练， 快速适应特定环境和设备。 4. 强化学习模型：强化学习对于优化调度策略及现场决策支持的 场景表现优越，能够通过实时反馈不断调整策略，提高整体运 行效率。 在确定模型后，接下来便是模型的训练过程。我们需要进行数 据预处理，确保数据的质量和适用性。对于时序数据，首先要进行 做好数据的划分，建议采用 70%的数据用于训练，15%用于验 证，15%用于测试。 训练过程中的参数调整也非常关键。我们可以通过下列步骤优 化训练效果：  超参数调优：使用网格搜索或随机搜索优化学习率、批大小、 层数等超参数。  交叉验证：利用 K 折交叉验证提高模型的泛化能力，避免过 拟合问题。  模型集成：可以考虑使用简易集成方法（如 Bagging 和 Boosting）

据资源，形成统一的生态监测与评估标准。 2. 推广智能传感器和物联网技术，实现生态监测的自动化和实时 化，及时获取环境数据并上传至云端进行处理。 3. 加强多模态 AI 模型的研发与应用，尤其是通过强化学习和迁 移学习的方法，解决生态数据稀缺问题，实现模型的不断优 化。 4. 通过政策引导和技术支持，提高公众参与的积极性，鼓励市民 积极向政府反馈环境问题，同时参与环保活动和项目，提高整 体生态环境治理的水平。 其次，工业化进程中产生的污染物是另一大生态破坏因素。传 统制造业和能源产业的快速发展，伴随着大量的废水、废气和固体 废物的排放，严重影响了水体和大气环境。研究表明，工业污染已 成为许多河流和湖泊水质恶化的主要原因。其中，重金属和化学物 质的累积，使得生态系统内的食物链受到威胁，最终影响到人类的 健康。 再者，过度开发自然资源也是不可忽视的原因之一。森林砍 伐、过度捕捞、矿产资源开采等活动，使得自然资源快速枯竭。这 不 传感器数据模态主要具有以下几个特点： 1. 高实时性：传感器能够以较高的频率收集数据，实时反映环境 的变化，使得系统能够迅速响应突发事件。 2. 数据多样性：不同类型的传感器能收集到不同的环境信息，数 据种类繁多，涵盖物理、化学、生物等多个维度。 3. 高维度：传感器数据的维度较高，往往需要通过多种传感器协 同工作，形成综合的环境评估模型。 4. 复杂性：传感器网络的布局和数据传输过程中可能受到多种因 素的影响，如

星火大模型的化学类课程专属智能 科教融合系统的开发与创新应用。《化学大模型与智能体：AI for chemistry》、《高等无机 化学》等多门 AI 课程利用大模型将复杂的课程教学内容进行结构化梳理，AI 学伴为学生提 供即时答疑服务；AI 助教为老师提供智能备课辅助，显著提升教学效率。同时，学校以星火 大模型为依托，聚焦师生教研所需，创设功能型 AI 智能体，如“魅力化学大师”“智能机器 智能体，如“魅力化学大师”“智能机器 化学家”“MWORKS 大师”等学科专属工具，赋能教师开展跨学科教学。学科工具的辅助使单 一教师可承担的教学范围明显扩大，尤其是在前沿交叉学科领域，有效突破了教师的能力边 界。 （二）基于 AI 课堂评价的智能巡课助力教学质量监测 为推动课堂教学模式向更高阶互动转型，北京航空航天大学依托智慧教室与讯飞 AI 教 学评价系统，实现了课堂教学全过程的无感巡查、动态监测与精准反馈。数据驾驶舱全景呈

定义对话状 态 • 网络的输入是 NLU 结果和上一步系统动作 • 网络的输出是下一步系统动作的概率分布 • 可通过有监督学习或强化学习的方法训练 • 需要大量真实的、标注的对话数据 基于深度强化学习的对话状态跟踪 [Williams 2016] • 任务型对话将用户的输入和系统的输出都映射为对话动作 • 通过对话状态来实现上下文的理解和表示

弱指数（RSI）等传统指标，并结合市场情绪分析，生成多维 度的特征向量。  模型训练与优化：DeepSeek 支持自动机器学习（AutoML） 功能，能够根据历史数据自动选择和调优模型参数。其内置的 强化学习模块还可以根据市场反馈动态调整交易策略，实现自 适应优化。通过并行计算和分布式训练，模型训练效率显著提 升，能够在短时间内完成大规模数据的训练任务。  实时决策与执行：DeepSeek 的实时决策引擎能够结合当前市 架，设计并训练多层次的神经网络模型。这些模型将针对不同的交 易策略进行优化，例如趋势跟踪、均值回归、套利策略等。模型训 练过程中，将采用动态调参机制，确保模型能够适应市场的快速变 化。同时，项目还将引入强化学习技术，使模型能够在实战中不断 自我优化，提升决策的精准度。 在交易执行层面，项目将开发一套自动化交易引擎，实现从信 号生成到订单执行的全程自动化。系统将支持多种交易指令类型， 包括市价单、 LSTM（长短期记忆网 络）和 GRU（门控循环单元）模型，DeepSeek 能够有效处理非线 性和非平稳的时间序列数据，提升对市场动态的预测能力。 其次，DeepSeek 引入了强化学习算法，通过与市场的实时交 互不断优化交易策略。在强化学习框架中，交易行为被视为一系列 的状态-动作对，系统通过最大化累积奖励来学习最优交易策略。 这种方法不仅能够适应市场的动态变化，还能够在高波动环境中保 持稳健的表现。具体而言，DeepSeek

了持续集成和持 续部署（CI/CD）的实践，以便于快速发现并修复问题，减少生产 环境中的错误率。 在智能体的训练和优化方面，我们采用了深度学习与强化学习 相结合的方法。通过深度学习，智能体能够从大量数据中学习复杂 的模式和知识；而强化学习则使智能体能够在不断与环境的交互中 优化其决策策略。例如，在客户服务场景中，智能体通过分析历史 对话数据学习如何更有效地解决客户问题，并在此基础上不断优化 法对合同条款进行合规性检查。支持与电子签名平台的集成，实现 合同的在线签署和存证。针对合同执行过程中的异常情况，设置监 控提醒和自动应对机制，确保合同执行的透明度和安全性。 智能推荐系统模块，采用协同过滤、深度学习和强化学习算 法，根据用户的历史行为、偏好和实时操作，提供个性化推荐。在 商务场景中，智能推荐系统不仅能够推荐相关产品和服务，还能为 用户提供最佳的谈判策略、风险预估和决策支持。通过持续学习用 户 确地理解用户的意图，提供更加个性化的服务。这不仅仅局限于文 本交互，语音识别和生成的准确性也将大幅提升，使得语音助手在 商务场景中的应用更加广泛和高效。 其次，机器学习算法将更加智能化和自适应。通过深度学习和 强化学习技术的结合，AI 智能体能够在不断的数据流中自我优化， 提高决策的准确性和效率。例如，在供应链管理中，AI 可以通过学 习历史数据和实时市场动态，自动调整库存水平，降低运营成本。 此外，边缘计算和物联网（IoT）的融合将为商务

动态实时更新预测结果，确保造价估算的时效性。  可解释性：通过引入注意力权重的可视化技术，模型能够提供 对预测结果的解释，帮助用户理解影响造价的关键因素。 此外，DeepSeek-R1 还结合了强化学习算法，通过与实际工 程环境的交互，不断优化模型的决策能力。例如，在材料采购策略 优化中，模型通过与供应链管理系统的集成，能够动态调整采购计 划，以最大程度降低成本并满足工程需求。 2.4 模型训练与优化 区 块链技术，模型的输入数据将更加透明和不可篡改，这不仅提高了 数据的安全性，也增强了模型输出的可信度。 在算法层面，深度学习和强化学习的结合将使 DeepSeek-R1 在处理非线性问题和复杂决策场景时表现出更高的灵活性和智能性。 例如，通过引入强化学习机制，模型可以在不断的项目实践中自我 优化，逐步提高对工程造价预测的准确性。同时，模型的解释性也 将得到提升，使得用户能够更好地理解模型的决策过程，从而增加 最新的 市场变化和技术进步。 为了进一步提升模型的实用性和智能化水平，可以考虑引入更 多的先进算法和技术。例如，结合自然语言处理技术，使模型能够 更好地理解和处理工程造价中的文本数据；结合强化学习算法，使 模型能够根据实际应用中的反馈不断自我优化。此外，还可以探索 将 DeepSeek-R1 与其他工程造价软件或平台进行集成，以实现更 高效的数据交互和协同工作。 在模型部署和使用过程中，应建立完善的技术支持和培训体系。