［3］；在软硬件协同层 面 ，NVIDIA IsaacGym 平台支持百万智能体并行训 练 ［4］，OpenAI 与 Figure 联合开发的 Figure 01 已实现语 关键词： 具身智能；标准化；评测体系；应用场景 doi：10.12045/j.issn.1007-3043.2025.07.008 文章编号：1007-3043（2025）07-0046-07 中图分类号：TP18 文献标识码：A 决策与交互的重要路径，对通用人工智能的发展具有关键意义。梳理了具身智 能的核心能力维度，分析了当前标准化工作的进展与挑战，提出评测体系设计 原则与关键指标，探讨了典型评测方法与平台实践。尽管初步标准框架已形 成，但在多模态交互、群体智能等方面仍缺乏系统标准，评测工具亦亟待升级。 未来应完善分领域标准、建设权威评测平台、加快国际接轨，并同步推进伦理法 律规范，推动具身智能生态规范发展。 Abstract： Embodied Keywords： Embodied intelligence；Standardization；Evaluation system；Application scenarios 具身智能标准化研究与评测 方法探索 Research on Standardization and Evaluation Methodologies of Embodied Intelligence 魏家馨 1，马瑞涛

判能力，结 合开发者行为分析持续优化编码范式。深度融合智能评审与 CI/CD 流 水线，形成从设计意图到代码实现的闭环知识沉淀。 （3） 测试智能化聚焦 AI 驱动测试流程自动化与 AI 系统评测。 一方面通过 AI 赋能打通全链路智能化测试闭环，通过智能需求分析、 智能用例生成、缺陷根因分析等能力实现高效精准验证；另一方面强 化对 AI 系统自身的深度测试，形成“以 AI 测 AI”的自我进化闭环。 AI过程中，理解、归纳和执行是其核心能力的基础。 通过对认知能力、规划能力、表达能力和记忆能力的综合评测，深入 分析智能体如何有效理解用户意图、制定合理的响应计划、进行清晰 的交流，以及在多次交互中保持对用户信息的记忆，以提升用户体验 和系统的智能化水平。 图 7 智能体评测建设示意图 智能体评测的实施流程，主要分为分析阶段，开发阶段，测试阶 段，调优阶段，发布阶段五个阶段。分析阶段，收集并整理业务相关 用户数据的变化，防止线上异常或故障的发生。 效果测评在智能体评测过程中，理解、归纳和执行是其核心能力 的基础。效果评测维度，通过对认知能力、规划能力、表达能力和记 忆能力的综合评测。深入分析智能体如何有效理解用户意图、制定合 理的响应计划、进行清晰的交流，以及在多次交互中保持对用户信息 的记忆，以提升用户体验和系统的智能化水平。效果评测工具，利用 大模型（LLM）或者自然语言处理（NLP）模型，从结构化或非结构化

灯设备、水表设备、空调设备 后勤服务质量监测评估中心 帮助后勤集团对所有乙方单位及需要评测的内 容进行整体评估。中心通过从不同业务评价体 系，不同业务系统中的评测及评测数据进行汇 总、整理，重新、综合打分方式实时对所有服 务项目进行整体监控。 包含但不限于：食堂档口服务质量评测、物业 服务质量评测、员工服务质量评测 后勤学生安全动态评估中心，可以通过对学生在校时 间、在校情况、进入情况及出现位置、社会关系进行

习近平总书记在第十九次全国人民代表大会中指出：优先发展教育 事业。努力让每个孩子都能享有公平而有质量的教育。 精准教学大数据平台 基于移动学习平台、智慧课堂的教育数据（基础数据、教学数据、评测数据、教研数据、管理数据）多维采集， 实现教、 学、管各类主题统计分析，支撑科学决策、教育均衡、课程体系与教学效果最优化。 精准教学大数据平台——数据汇聚、科学分析 教学大数据产品是以大数据和 育 信息化资源。 • 智能教学评测与管理： 利用 AI 技术采集 课堂中各类行为数据，进行高 效 • 精准的教育教学评测，从而提高教学质量。 • 智能校园管理：远程管控、本地快速联动 5G 校园应用 远程互动教学 虚拟现实沉浸式教学 AI 教育教学评测 5GAI 教育教学评测 云 计算 大数据 人工智能 数据仓库 建模分析 课堂师生行为报告 课堂参与度数据图 决策分析报告 教学质量报告 班级分析报告 学生个人分析报告 情感识别 语音识别 文本识别 AI 识别采集数 据 （基础数据） 有效性评测 可视化决策 个性化的提升计划 学生成长档案 智 慧 教 育 大 数 据 数据处理生成报告 教育教学评测应用 行为识别

..... 3 6.2 模型开发 ......................................................................... 4 6.3 模型评测 ......................................................................... 6 6.4 应用服务组装 ........... 6.3 模型评测 6.3.1 技术评估 a) 应支持由专业人员对模型进行人工评估，以获取更准确和全面的评估结果； b) 应支持使用自动化工具和算法对模型进行评估，以提高评估效率和一致性； c) 应支持将多个模型进行对比评估，以选择最佳模型或进行模型融合； d) 应支持使用通用的评测集对模型进行评估，以验证模型在广泛任务上的性能； e) 应支持使用政务行业的专门评测集对模型进行评估，以验证模型在特定领域任务上的性能； 开启关闭等参数，支持在线调试； d) 应具备大模型应用编排功能，支持用户将多个大模型进行组合和编排，形成复杂的应用流程， 满足实际业务需求； T/ISC 0079—2025 7 e) 应支持通过可视化交互页面进行效果评测测试； f) 应支持开放架构，支持第三方工具集成，全流程工具链支持各类AI开发场景，支持外部通过API 调用的方式实现智能化应用服务的调用，同时开放接口API需进行鉴权。 6.4.2 生成式应用组件

6 2024.9 2024.10 2024.12 2025.3 立项申请，确定评测实验 室和核心参编厂家 完成立项，征求参编单位 成立编制组，召开启动会 完成标准草案，开展摸底 评测 输出征求意见稿，挂网征 求意见 形成送审稿，完成专家评 审 完成标准送审、发布 完成评测，发布评测认 证报告 参编单位 l 华北电力大学 l 北京中交国通智能交通系统技术有限公司

打造内外协同发展的5G应用创新机制..............................................................................71 4.2 完善5G终端、网络和应用评测体系................................................................................. 71 4.3 建立适应5G应用生态发展的服务能力 验环境， 具备业务仿真、5G网络质量评测、通信终端及设备检测、电磁兼容检测等服务 能力。 服务能力：实验室提供了一套具有完整自主知识产权的基于5G通信终端和 白盒一体化基站的5G通信测试平台，通过搭载专业的测试仪表和测试分析软件， 可对5G网络技术架构开展物理层、MAC层、网络层、应用层的性能测试验证。 该5G通信测试平台具备典型电力业务指标的评测能力，可以针对不同电力业务 （配网差 业内领先的5G+行业应用创新以及验证测试服务基础环境。 电信研究院全景图 5G行业专网+AI+云边端一体化环境 5G应用产业方阵创新中心指南 15 服务能力：实验室自主研发的5G典型应用评测平台，平台支持多形态灵活 部署测试模式；快速打通测试接口；可完成对5G应用的功能、性能以及安全测 试；平台测试效率高，具备典型应用指标的测试能力，结合一体化5G行业专网 环境以及专业的测试仪器

产业的智能化 升级。 图 2-2 汽车企业智能化转型的技术架构示意 Agent 智能体评测与度量 Agent 开发已经逐渐成为汽车行业 AI 开发赋能的主要途径，但 Agent 开 发并非一蹴而就，企业在开发 Agent 时需要不断调试和迭代升级对其完 善。 通过引入 Agent 评测和度量，这些工具提供了一个客观的、系统的评估 框架， 通过实际数据和标准化的测试方法，对 Agent 大模型参数（ B ） *2 Agent 评测是通过收集一套数据集来调用 Agent, 再对其输出结果进行评 估，返回一个分数。这个分数可以是基于实际输出与参考输出进行比较得出 的，也可能不需要参考输出， 比如检查输出的格式是否为 JSON 。通过调 整 Agent 的大模型、系统提示词、知识库和工具定义， 观测不同组合下最优 组合。 Agent 的评测系统主要包含数据集管理， Agent Agent 运行以及 Agent 运 行结果的 评估打分。 数据集管理提供了一套可视化的 评测数据集管理工具， 方便用户对各 场景的评测数据集进行管理，支持数 据的导入、导出和编辑等功能。数据 集可以分为人工数据集和程序数据集。 前者是为了方便人工采集数据，后者 是作为参数调用 Agent 。 评估打分是通过建立一套指标系统，对 Agent 的结果集进行打分，最终

确保资源一致，让老师能够快速根据备课内容组织课堂教学； 1 多元化的讲授方式让学生能够快速接受、简单学习； 4 通过随堂训练可以进行课堂互动，活跃班级气氛、激发学生的学习积 极 性； 3 教师在课堂上简单操作完成课后作业布置、考试评测，课前预习任务的 发布 5 通过教学互动工具实现课堂上师生互动，帮助老师轻松教学、高效教学； 2 教学助手 基于电子课本的授课系统，支持语言学科的即点即读 、多媒体资源播放、画笔批注讲解等多种授课实用功 教学应用 支持收录教师、学 生情况 安全信息数据库管理 校园安全 支持收录校园安全基 本信息 教育局管理大数据 利用“ 5G+ 物联网”技术实现对教育数据多维度采集（基础数据、教学数据、评测数据、教研数据、管理数据 ), 支持数据共享、数据交换、数 据分析等功能，建设统一数据整合中心。 支持跨区域数据分析展示，按照区域、校、教、学、、资源、管各类主题统计分析，实现科学决策、教育均衡、课程体系与教学效果最大化。 智能教学评测与管理 创客教室 虚拟现实教育 AI 教育教 学 校务管理 智慧图书馆 智能考勤 教学大数据 5G 校园智 能 化管理 远程互动教学 远程互动教学 虚拟现实沉浸式教学 AI 教育教学评 测 校园智能化管理  直播互动课堂：高清、低时延、无卡顿互动体验  虚拟现实教育云平台：打造中国联通虚拟现实教育 云平台，整合多种教育信息化资源。  智能教学评测与管理：利用

模型部署：支持中心和边缘部署，实现 AI 模型的云边协同管理。 21 AI CITY 发展研究报告 云 / 边缘部署 能力 调测 多实例 模型评测：支持对平台部署的大模型进行评测，支持 API 接入外部第三方模型进行评测，支持选择数据集进行 模型评测和可视化结果展示，部署前充分掌握模型实际效果。 图 5 AI 模型平台示意图 （3）AI 原生应用平台 AI 原生应用平台是一站式的城市专属 高质量数据集 科技创新 配套机制完善 可信数据空间 普惠供给 智能调度 模型纳管 一站式工具集 产业发展 3 、数据运营 . 2、模型运营 基于 AI 模型平台提供的模型纳管和训练、评测等支持能力，集成可共享使用的基础大模型、行业大模型和场景大 模型资源，为用户提供丰富可选的预训练模型和大模型应用部署、训练调试、性能验证等配套服务。基于 AI 原生应用 平台，提供一站式的工具集支 根据元数据和内容特征，检查其版权来源 OWASP TOP10 for LLM 威胁防护 对有毒或违规数据进行精准识别与 构建行业特有问答 对输出合规性进行评测 多模态训练语料数据自动化隐私检测、脱敏 大模型应 用层防护 内容 对抗测试 安全 渗透测试 内容 安全评测 模型对话 违规过滤 提示词 注入防护 精确识别并防护 Prompt注入 针对训推环境和开发平台软件 文本、图片、音频、视频 “