低空环境智能感知关键技术及应用方案（43页 PPT）

微信扫码，打开到小程序

四 未来工作 一 研究 背景 · 二 · VisDrone 数据平台 · 三 · 低空感知 脑 四 未来工作 一 研究背景 二 VisDrone 数据平 台 三 低空感知 脑 措施鼓励新区在航空物流应急救援智慧城 市运营管理 AI 巡检环境监测低空旅游等 领域打造标杆性应用场景 雄安新区于 2024 年 7 月发布《关于支持 低空经济产业发展的若干措施》 ，明确 通过雄安国创中心等平台推动产业生态构 建 2025 年 10 月 ， 党的二十届四中全会颁布《中共中央 关于制定国民经济和社会发展第十五个五年规划的建议》 ，其中明确指出 “打造新兴支柱产业 ， 加快低空经济等 战略性新兴产业集群发展 ， 催生数个万亿元级甚至更 大规模的市场”。 低空智能感知体系深化赋能经济转型 重大需求 低空经济产业已成为国家战略支柱产业 ，雄安先行先试标 杆 《中共中央关于制定国民经济和社会发展第十五个 五年规划的建议》 《关于支持低空经济产业发展的若干措施》 通知旨在抢抓低空经济产业密集创新和高速增 长的战略机遇 ，推动雄安新区低空经济产业 高质量发展 2021.7.20 河南遭遇特大暴雨 受灾 1478 万人 ， 经济损失 1200 亿 元 2022.2.24 俄乌冲突爆发 冲突持续四年 ， 经济损失超 1 万亿 元 重大需求 无人机已在安防巡检、 水情监测和应急搜救等领域得到广泛应 用 死亡失踪 117 人 ， 经济损失 154 亿 元 2022.9.5 四川泸定 6.8 级地 震 无人机精准识别被困群众 无人机及时探查灾区情报 无人机全时监测打击目标 “ 看不准 ” 无人机高速飞行 ， 目标位置密集 且动态变化 ， 降低了感知准确 度 “ 看不全 ” 单机视角有限且存在遮挡 ，无法捕 捉目标在所有角度下的特征 复杂环境下 ，低空智能感知面临“看不清” ，“看不准”和“看不全”的挑战 “ 看不清 ” 雨雪雾恶劣天气和低光照环境降低 了无人机对目标的感知清晰度 “ 看不准” 低空感知模型进化难 “ 看不全” 多机跨视角感知难 “ 看不清” 复杂环境全天候感知难 低空感知 基础模型自主进化技术 水情监测 研究挑战 关键难题 技术创新 低空复杂环境 全天候感知技术 安防巡检 多机跨视角 协同感知技术 应急搜救 成果应用 四 未来工作 一 研究背景 · 二 · VisDrone 数据平台 三 低空感知 脑 历时 5 年全国 14 个城市采集 2000 万 + 图像 / 视频帧 2000 万 + 目标标注 VisDrone 数 据 累计下载次数 10 万 + 在 Git hub 获得 3000+ 个星 在 ECCV 和 ICCV 连续举办 五 届 VisDrone 竞 赛 全球包括卡耐基梅隆大学等 在内的 2000+ 参赛队伍 5000+ 篇论文使用并引用 > 关键平台： 建立了复杂环境协同感知数据平台 （ TPAMI 2022 ） 构建了大规模多源、多模态、多任务、非完备复杂环境协同感知数据平 台 VisDrone ，覆盖单机和多机协同感知任务。 国内外广泛使用的无人机视觉基准数据平台 DroneCrowd-TJU DroneVehicle-TJU DroneRGBT-TJU VisDrone-TJU MultiDrone-TJU AnimalDrone-TJU > 关键平台： 建立了复杂环境协同感知数据平 台 反无人机微小目标检测数据集（ ECCV 2024 ） 平台优势 智能化升级 ，效率倍增长 通过 AI 技术赋能 ， 实现城市巡检从传统人工模式向 智能化、 标准化、 规模化的跨越式升级 前期 前期数据、场景、模型 上耗费时间显著降低 70% 50% 40% 数据收集时间 场景适配时间 模型训练时间 算法部署效率 模型赋能 数据驱动 场景适配 模型 流水工厂 配套 落地 数据 百城共建 通过数据、模型、场景的三维融合展示 ，为政府、企业、公众提供低空领域的一站式资源入口 ，构建 百城空域的数据算法基石 ，让低空经济 " 看得见 " 、 " 管得 好 " 。 后期算法的效率和 准确度显著提升 场景 150% 后期 u2024 全球人工智能技术创新大赛 - 算法挑战赛 机场点位 12 个点位 职能部门 12 个委办 局 覆盖面积 平方公望 理论研究 发表 CCF A 和 IEEE 汇刊 论文 80 余篇 授权发明专 利 30 项 成果支撑团队获得多项国际竞赛冠军和最佳论文奖 科技奖励 l 吴文俊人工智能科技进步奖一等奖 l 吴文俊人工智能优秀青年奖 l 天津市自然科学一等奖 l 黑龙江省自然科学一等奖 l 天津市科技进步奖二等奖 l 中国智能交通协会科技进步奖二等奖 l 2022 CVPR 视觉语言多模态挑战赛冠军 l 2023 CVPR 开放世界目标检测挑战赛冠军 l 2024 昇腾 AI 创新大赛天津区域决赛高校赛道金奖 空军“无人争锋”挑战赛冠军 基础平台建设 构建了国内外广泛使用的无人机视觉基准数据平台 空天地水协同进化智能无人集群感知平台 团队荣获吴文俊人工智能科技进步奖一等奖等科技奖励 构建世界上规模最大无人机视觉数据平台 VisDrone 人工智能科技进步奖一等 奖 从被动感知到自主协同 ，构建支撑具身智能体与集群协同进化的下一代数据基座 感 - 策 - 控一体化构建 仿真－物理具身数据基座 大规模低空数据平台 支撑无人机全天候感知 多智能体自主交互 建立集群协同数据基准 视觉－语言－导航 (VLN) 多模态动态感知 多任务协同学习 视觉－语言－动作 (VLA) 多智能体社会化交互 群体态势自主感知 集 群 协 同 感 控 一 体 视 觉感 四 未来工作 一 研究背景 二 VisDrone 数据平 台 · 三 · 低空协同感知脑 混合专家动态融合 数据支撑 大规模、多源、多模态、多任务的协同感知开放数据平台 双向动态提示学习 复原融合一体化学习 多模态协同感知面临低空感知场景高动态、模态主导难选择、现实低质量数据退化类型复杂的 挑战难点。 实现复杂环境下无人机多模态动态协同感知 低空多模态动态感知难 模态主导难选择 感知场景高动态 多种退化类型复杂 多模态动态协同感知技术 挑 战 难 点 关 键 技 术 创 新 局部 - 全局的混合专家动态模型（ MoE-Fusion ） Gioc al(sio car)=soft ma ac(top k(sio cn·wi o car)) 模型动态学习模态 - 场景的关联信息 ， 实现场景样本自适应的多模态动态融合 创新：提出局部到全局的混合专家多模态动态模型构建“模态 - 场景”动态感知关联 (ICCV 2023) 在多模态非固定关联范式中动态地相互融合主导 - 辅助模态信息 双向 Adapter 结构简单、高效（仅添加 0.32M 可学习参数） ，以通用的方式将互补特征从一种模态转移到另一种模态。 每个模态分支从其他模态中学习提示信息 ，与当前模态的特征信息相结合 ，增强表征能力。 创新：基于双向 Adapter 的多模态追踪视觉提示框架 (BAT) 实现了出色的多模态互补性（ AAAI 2024 ） 任务门控的多合一退化多模态融合模型（ TG-ECNet ） Ir=TG-EC Net(t,f 动态感知低质量图像退化类型 ，提示引导专家协同学习 ， 实现 All-in-One 退化 多 模态图像融合 创新：提出任务自适应门控的多模态专家协同模型解决多种类型退化干扰下融合难题 (ICML 2025) 复杂环境下低空视觉感知面临通用表征学习模型缺乏、任务定制表征学习难等挑战难点。 实现复杂环境下智能无人集群全天候精确感知 复杂环境低代价感知难 非对称掩码视频计数 任务定制混合 Adapter 大规模、多源、多模态、多任务的协同感知开放数据平台 数据 - 标签关系挖掘不充分 任务定制表征学习难 缺乏通用表征学习模型 复杂环境低代价感知技术 挑 战 难 点 关 键 技 术 创 新 海河天眼基座模型 数据支撑 VisDrone MultiDrone AnimalDrone DroneCrowd DroneVehicle DroneRGBT 建立低空无人机视觉计算领域和多个平台兼容的模型库并实现大小模型协同进化 多维评估体系 场景识别能力 定位检测能力 条件判断能力 推理思考能力 n 建立超过 10 亿图像 / 视频帧数据库 ， 开发低空多模态视觉推理大模 型 指令划分 场景数据 2000 万 + 图像 / 视频帧 VisDrone 平台数 据 100+ 种特定场景的评估基准 数据清洗 → 粒度划分 → 机器标注 → 场景指令 → 千万级低空多模态训练数据 预训练多模态大模型 增量训练 + 指令微 调 基于任务定制的混合 Adapters 的通用图像融合（ TC-MoA ） 统一多任务阶段 以提示为依据进行融合 模型能够根据不同的融合任务动态定制不同的 adapters 混合来获得融合提示 在统一模型基础上兼容不同融合任务的差异 ， 并动态指导融合结果的生成。 创新：动态兼容多任务的通用图像融合 (CVPR 2024) 兼容多任务阶段 为输入定制融合提示 在多个数据上性能优异 ，构建大规模无人机视频计数数据集 ， 助力候鸟保护 创新：构建数据 - 标签关联 ，通过稀疏标签引导非对称掩码重建 ，实现精准无人机视频计数 (ICLR 2025) DroneBird 无人机视频计数数据集 基于非对称高效掩码自编码器的无人机视频计数（ E-MAC ） 基于两阶段损失权重分配的推理高效微调（ DMPO ） 偏置模块 解耦优化 初始阶段 : αearly < αdeep 后期阶段 : αearly > αdeep • 只在浅层插入 • 随着模型深度逐渐降维 基于早退策略在视觉基础模型前端引入高判别高阶预测器 ， 设计两阶段损失权重 分配策略提升早期预测器准确性 ， 30% 内存消耗的准确率接近全推理性能 创新：基于高阶预测器器解耦优化的视觉基础模型推理高效微调 (ICCV 2025) 先学习低级特征的生成 随后提升判别能力 loss↓ ➫ 判别能力 ↑ loss↑ ➫ 判别能力 ↓ xi = Bypi (xi) + xi 高阶预测器 {i = σ ({i 一 1) . {i (yi, y) 减少阶段间影响 智能无人集群空空、空地协同学习中面临模型通用表征学习能力弱、多源目标表观差异大、多 智能体协同交互难、空地跨视角差异显著等难题。 实现智能无人集群多智能体空空、 空地协同感知与进化 智能无人集群协同感知与进化难 海河天眼基座模型 智能无人集群协同感知开放数据平台 + 集群空空 / 空地协同平 台 数据与平台支撑 智能无人集群协同感知与进化技术 空地跨视角差异显著 多源目标表观差异大 通用表征学习能力弱 多智能体协同交互难 挑 战 难 点 关 键 技 术 创 新 多机全局局部匹配网络 多智能体社会化学习 空地协同感知模型 利用 Transformer 搭建了一种多机协同追踪架构： • 利用 Transformer Encoder 实现模板与搜索区域 的自动建模。 • 对多个模板的注意力权重加权作为依据剪枝 Token ，用于加速训练和推理。 多机协同性能大大超越多无人机单目标跟踪算法 ASNet 创新：构建 TransMDOT 的多机协同追框架解决多无人机单目标跟踪协同共享难题（ TCSVT 2023 ） 为多机协同追踪任务提供数据平台 促进多视角间图像匹配、 目标重识别、 协同检测与追踪等领域发展 1 、 通过全局、 局部匹配结合的多视角图像匹配方法 ，进行跨机目标关联 ， 实现双机协同追踪 2 、 设计详细的 ID 分配策略 ， 实现精确的 ID 继承与更新 ，减少 ID switch ，对遮挡目标进行有 效补充 创新：构建多机协同多目标追踪数据集以及协同追踪框架（ TMM 2023 ） 社会化学习通过多智能体间数据与知识的定向性交互共享 ， 实现了协同进化 n 社会化学习范式可以通过智能体之间的关键样本交互和知识交互 ，从而实现新知识学习 n 在保留个体原先任务认知能力的基础上 ，获取其他智能体的任务知识 ，进而实现机器社会中多个个体的协同进化 创新：针对开放环境下的群智演化 ，提出兼顾专业性和通用性的社会化学习范式（ ICML 2024 ） 创新：针对跨任务下的协同进化 ，提出兼顾下游任务专业性和通用性的社会化协同进化范式（ ICML 2025 ） n 社会化协同进化范式可以通过智能体之间的层级化动态交互和协同 ，从而实现知识的传递与增强 社会化协同进化通过多智能体间数据与知识的层级化动态交互 ， 实现了跨任务群智演化 n 在提升个体原先下游任务认知能力的基础上 ，整体解决不同下游任务能力得到增强 ， 实现跨任务协同进 化 构建跨平台（无人机 + 路面摄像头）多模态（可见光 + 热红外）空地协同感知数据 集 模型可以显著捕获全局和局部判别特征 ，提升模型对空地协同感知中剧烈视角 / 尺度变化及局部遮挡的鲁棒性。 模型架构图 创新：提出针对空地协同感知任务的解耦多粒度模型 无人机 异构任务交互进化 Reid Seg 无人车 n 打造跨域实时协同感知网络： 基于空地异构设备 ，形成多维一体的感知闭环 n 创建智能自适应任务枢纽： 实现跨域任务交互与多模型自我优化 ，驱动决策智能化 实现空地异构协同感知一体化 ，驱动跨域任务效能最大化 建立空地跨任务协同平台 ，实现异构设备、多视角的跨域协同感知 - - 应急救援 协同增益： 检测识别率 mAP 提升 5% 精细分割质量 mIoU 提升 5% 重识别质量 Rank-1 提 升 5% 标定追踪目标 应用场景 Det 巡防安检 四 未来工作 一 研究背景 二 VisDrone 数据平 台 三 无人集群协同感知 脑 智能模型引擎 低空通用大模型 + 小模型工 厂 策控一体化 多模态输入 感知编码器 策略网络 RealSense 深度图 多轨迹输出 姿态状态向量 MLP 状态向量 碰撞预测 飞行控制指令 板载执行 最优轨迹确定 低空具身智能 数据基础平台 大规模低空数据平台 仿真 - 物理具身数据基座 集群协同数据基准 低空无人机数据基座建设 面临低空智能感知挑战 ，展开“数据筑基、模型驱动、智能进化、安全护航” 低空安全 低空视觉安全 小 模 型 小 模 型 小 模 型 可拓展的红外 / 雷达 5阶多项式轨迹 MobileNet 轨迹选择模块 MPC 控制器 动态追踪 代价加权 电调输出 1 低空视觉数据集 2 反无人机感知探测 3 低空基座模型 4 低空底层视觉 5 低空目标检测 6 低空目标计数 7 低空目标跟踪 8 多传感器对齐 9 多模态动态融合 10 多模态可信融合 11 低空具身智能 12 空地协同感知 13 多机协同感知 14 开放世界学习 15 类别增量学习 16 低空智能体 17 多智能体学习 18 社会化学习 低 空 智 能 专 题