) 多任务操作、 第一人称世界模型、 低光照与模糊感 知 2025/04/08/ 为产业发展和投资决策提供最前瞻视角。 本期核心关注多任务操作、 第一人称世界模型、 低光照与模糊感知、 仿真数据生成等六大前沿进展 本期科技前瞻探索摘录来自港科大 ( 广州 ) 、上海交通大学、 浙江大学等研究机构的 6 篇最新学术前沿成果 , 包括 MOE-ACT: 多任务双臂操作规模化学习框架、 : 1: 对具身智能学术 研究前沿的影响 : 本文为多任务机器人模仿学习提 供 了轻量化的 MOE 融合方案 , 验证了稀疏专家激活机制在缓解多任务干 扰 上的有效性 , 其 FiLM 语言调制与多尺度注意力设计 , 可为后续 ACT 类策 略的多任务优化提供可复用的技术路径 , 同时也为双臂操作场景的轻量 化 多任务学习研究提供了新的实证参考。 2: 对具身智能产业界发展的参考意义 GPU 完成实时推理 , 适配工业机器人、人形机器人的现场控制需求 ; 其多任务统一策略的优化方案 , 可降低工业场景多任务操作的模型训 练 与 部署成本 , 为 3C 电子、 汽车制造等场景的双臂机器人规模化落地 , 提 供 了轻量化、 易部署的技术优化方向参考。 主要贡献 : 1: 提出轻量化多任务双臂操作框架 MOE-ACT: 将稀疏 MOE 模块融入 ACT 的

全球包括卡耐基梅隆大学等 在内的 2000+ 参赛队伍 5000+ 篇论文使用并引用 > 关键平台： 建立了复杂环境协同感知数据平台 （ TPAMI 2022 ） 构建了大规模多源、多模态、多任务、非完备复杂环境协同感知数据平 台 VisDrone ，覆盖单机和多机协同感知任务。 国内外广泛使用的无人机视觉基准数据平台 DroneCrowd-TJU DroneVehicle-TJU 视觉－语言－导航 (VLN) 多模态动态感知 多任务协同学习 视觉－语言－动作 (VLA) 多智能体社会化交互 群体态势自主感知 集 群 协 同 感 控 一 体 视 觉感 四 未来工作 一 研究背景 二 VisDrone 数据平 台 · 三 · 低空协同感知脑 混合专家动态融合 数据支撑 大规模、多源、多模态、多任务的协同感知开放数据平台 双向动态提示学习 复杂环境下低空视觉感知面临通用表征学习模型缺乏、任务定制表征学习难等挑战难点。 实现复杂环境下智能无人集群全天候精确感知 复杂环境低代价感知难 非对称掩码视频计数 任务定制混合 Adapter 大规模、多源、多模态、多任务的协同感知开放数据平台 数据 - 标签关系挖掘不充分 任务定制表征学习难 缺乏通用表征学习模型 复杂环境低代价感知技术 挑 战 难 点 关 键 技 术 创 新 海河天眼基座模型 数据支撑

2020 年 大规模密集数据与 通用检测数据集 03 VTUAV 2020 年至 2023 年 多模态 动态感知数据集 02 DroneVehicle 04 低空环境感知数据呈现出多任务、 多模态和多源协同特性 以 VisDrone 数据集为代表 ，低空环境感知数据面临简单静态到动态复杂的演进。 AG-ReID UAV-123 现实空间推理 基于多源信息构建物理度量， 在真实环境中进行空间推理。 可进化世界 无人机智能体 VLN 、 VLA 面向低空需求 ，构建大规模低空视觉感知开放数据平 台 VisDrone 开源社区 Star 数 量 图像 / 视频 帧 论文引用量 多任务感知 多模态感知 人群计数 物体追踪 多机感知 目标检测 模型 流水工厂 数据 百城共建 通过数据、模型、场景的三维融合展示 ，为政府、企业、公众提供低空领域的一站式资源入口 ，构建 70% 50% 一、 低空研究背 景 二、 低空数据平 台 三、 低空感知大 脑 CONTEN TS 城市治理 多传感器协同学习 多任务协同学习 多机协同学习 低空环境智能感知理论与方 法 科学问题 研究挑战 关键难题 技术创新 核心贡献 成果应用 “ 看不准”

.. 44 6.2 技术创新点 ............................................................. 44 6.2.1 “ ” 一航线多任务 智能规划..............................44 6.2.2 跨系统数据融合底座......................................45 6 3.2 建设原则 3.2.1 统筹协调，资源整合 坚持 “ ” 全市一盘棋 ，由市政务和数据局牵头，整合各 部门无人机服务需求与现有资源，打破部门壁垒，避 免重复建设；遵循 “一航线多任务、一飞机多数据、一 ” 飞行多方用 原则，最大化发挥无人机设备与数据的复 用价值，提升资源利用效率。 3.2.2 需求导向，场景优先 以政务侧实际应用场景为核心，聚焦应急、交警、查 违 无人机调度：平台根据任务需求（类型、优先级、区 域）、无人机状态（位置、电量、可用情况）， 自动 匹配最优无人机，如应急任务优先调度距离最近、具 备相应载荷的无人机；同一区域有多个任务时，调度 同一无人机按 “ ” 一航线多任务 原则执行，减少重复 飞行。 空域资源调度：对已申请的空域进行统一管理，记录 空域使用情况（哪个任务使用、使用时间），避免空 域冲突；当多个任务需使用同一空域时，按任务优先 级排序，协调安排使用时间。

根据电子标签提示拣货数量进行拣货，拣货完成手动按键灭灯 实现以下效果 1 、采用卡扣粘贴在料盒上，并配有防撞铝型材进行标签保护， 随料盒在仓库内周转。 2 、每个料盒四种物料实时信息在线监测管理。 3 、支持多任务同时拣货，标签信息随着物料变更绑定物资可以 及时调整 4 、可以设置低库存预警，提醒采购人员 应用场景预期效果 2 、料盒物资管理（每个料盒粘贴一个无线水墨屏亮灯指引电子标签，管理三种物料，最多支持一 ）拣货人员根据亮灯指引电子标签提示精准找到该物资。并根据电子标签提示拣货数量进行拣货， 拣货完成手动按键灭灯。多任务同时拣货，手动确认切换物资进行拣货。 实现以下效果 1 、采用卡扣粘贴在料盒上，并配有防 撞铝型材进行标签保护，随料盒在仓库 内周转 2 、每个料盒三种物料实时信息在线监 测管理，最多支持 6 种。 3 、支持多任务同时拣货，标签信息随 着物料变更可以及时调整 4 、设置低库存预警，提醒采购人员 系统介绍

随着 Scale Up 组网规模的扩大与算力密度的提升，超节点的稳定性成为集群作业连续性的核心保障， 需考虑器件、网络、系统等层面的可靠特性，以化解系统故障风险。在此基础上，针对单用户专属、 多任务并行等差异化场景，超节点还需通过精细化资源调度、性能隔离与数据安全机制实现全场景 适配，在满足复杂业务需求的同时最大化释放算力价值。 4.2 系统特征 图 4.1 超节点集群组网架构（以昇腾 384 种分级恢复策略确保不同类型业务在 故障发生时均能被实时高效地处理，以最小时间代价保障业务连续性。 超节点发展报告 20 超节点实现大规模组网和稳定运行的同时，所面临的任务场景也从单任务独占到多任务并行逐步 多元化，不同场景对资源调度、性能隔离、数据安全要求差异显著。因此，构建适配全场景的系统能力， 成为超节点释放算力价值、支撑企业数字化转型的必然选择。 单任务场景下的资源独占与性能优化： 高要求，系统应将全部计算、存储和网络资源集中调配至单一任务，避免资源争用与调度损耗。用 户仅需关注超节点域的大小和模型切分策略，利用超节点互联优势即可实现计算性能的最大化释放。 多任务场景下的逻辑切分与高效协同： 面对多任务并行（如同时运行模型训练、在线推理、数据预处理）的混合负载场景，超节点应采 用逻辑切分技术，将物理超节点拆分为多个逻辑超节点，各逻辑节点间通过高速互联协议实现低时 延通信（如图

恢复到原始体素网格的维度, 并用于预测离散化的行动动作. 通过对场景进行三 维体素化, 并使用编码器进行场景、语言的特征提 取, PerAct 能够有效地对环境进行建模, 获取全局 感受野, 并在多任务设置中执行精确的 6-DoF (De- gree of freedom) 操控任务. 体素化提供了对场景的 强结构先验, 而 Perceiver Transformer 则允许模型 从少量演示中学习并泛化到新的环境和任务 representation based on NeRF[107] 近期同样用于 3D 场景表示的 3D 高斯 (3D Gau- ssian splatting, 3DGS)[108] 在许多任务上展现出了 惊人的能力与效率, 其显式的场景表示能够以高效 率和高精度渲染出具有丰富细节的场景, 在虚拟现 实、增强现实、同步定位与地图构建 (Simultan- eous localization 大模型处理环境观察与提示, 输 出动作序列, 动作序列可以是一系列关节角度或末 端执行器的位姿与夹爪开合数据, 这些序列将直接 用于控制机器人的运动. Gato[60] 是一个可以处理多 模态、多任务和具身化问题的通用智能体, 通过在 604 个涵盖不同的模态、观测和动作规范的任务上 进行预训练, Gato 可以完成玩游戏、为图像添加字 幕、操控真实机械臂堆叠方块等多种任务. 当 Gato 作为动作策略时

测和学习能力的智能算法演进。现代控制系统必须能够管理复杂的动态系统，通过集成机器学习技术实现参 数自调优、故障预测和性能优化。 • 多元化负载整合与资源优化：随着自动化控制与信息化、智能化的深度融合，多任务负载整合成为核心发展 方向。现代工业系统需要在单一平台上同时运行实时控制、AI 推理、数据分析、视觉处理、通信管理等多种 工作负载，通过统一的计算平台实现硬件资源的高效利用和系统成本的显著优化。在这一整合过程中，确保 等。 PAC 的主要特点包括： PAC 实现方法多种多样，下图展示了一种基于 ACRN 虚拟机构建的 PAC 架构。该架构利用了 Type 1 虚拟化技术，因此具备 卓越的实时性和隔离性，为多任务和多系统的 PAC 应用开发提供了坚实的基础。此外，借助内存共享机制，该方案实现了虚 拟机间的高速数据交换，不仅在空间上实现了优化，同时也提升了系统间的通信效率，为负载整合带来了全面的性能提升。 图：隔离的运行环境 图：工信部电子五所 Cyclitest 抖动延迟测试 高实时高精度控制 Intewell RTOS 实时性抖动可低至 5 μs，支持多任务间信号量同步技术，实现 IEC61131-3 与 C\C++ 多任务间的时序同步控 制，周期精度可达 1ms 以内。支持高级语言 C\C++ 在实时环境中的交叉编译，充分满足半导体生产实时性业务的需求。 27 高速高确定性数据交互

CTU AGV 益模一体化调度平台 16 第三章 汽车零部件行业数字化转型方向 单一站点 物理按键呼叫 人工出发指令 单任务线 固定路线 ① ② 多站点 系统中呼叫 人工出发指令 多任务线 串行执行 固定配送路线 模具仓库 注塑车间 模具仓库 AGV充电站 原材料仓库 模具立体库 半成品立库 成品仓库 注塑车间 表面处理/分包车间 组装/包装车间 注塑车间 半成品仓库 一体化调度平台 AGV执行控制系统 APS 加工计划 路径规划 资源需求 时间要求 优先顺序 执行 状态 预计 计划 搬运需求 全场景站点 按APS计划指令 与MOM协同 多任务线 AGV小车选择 优化调度执行 任务自动下发 ...... 优化配送顺序 配 送 需 求 配 送 顺 序 优化路径规划 最近AGV/最短路径 动态计算最优配送时长 最优配送顺序 交通管制 无法排出 准确的出货计划； 无法同步综合考虑资源、人员 、产能、半成品、WIP数、成品库存、工序等多种约束因素，计划跟不上变 化，导致计划与实际需求脱节； 车间没有精确生产计划，极难做到多任务前后联动计划，前工序传什么，后工序就做什么。 25 苏州某公司 MEMS精微零部件龙头 借助APS提效700% 汽车零部件行业数字化转型白皮书 汽车齿轮 产品类型 价值与收益 26