........................................................................................71 6.1 考评指标体系......................................................................................74 6.2 考评方法 化。为解决这些问题，有必要构建一套全面的人工智能数据训练考 评系统。 项目的核心目标在于建立标准化的数据训练考评体系，提升 AI 模型开发的质量与效率。具体目标可分为以下几个维度： - 建立可 量化的数据训练质量评估指标体系 - 设计全面的训练过程监控与记 录机制 - 开发智能化的训练资源优化算法 - 构建可视化的评估结果 呈现系统 - 实现训练效果的动态追踪与对比分析 通过本系统的建设，预计可以实现以下具体效果： 效率。具体目标包括： 1. 提升数据训练效率: 通过优化数据处理流程和引入自动化工 具，大幅缩短数据清洗、标注和处理的时间，确保训练数据的 高质量和高可用性。 2. 实现精准模型考评: 设计多维度的考评指标体系，包括准确 性、召回率、F1 值等，结合可视化工具，全面评估模型性 能，确保考评结果的科学性和客观性。 3. 支持多场景应用: 构建灵活的考评框架，使其能够适应不同领 域（如自然语言处理、计算机视觉等）和不同规模的数据集，

随着 AI 在千行百业加速渗透，算力赋能数字经济社会的效能，不仅仅取决 于算力、存力、运力以及发展环境本身，模型能力也成为决定人工智能深度赋 能的关键。因此，中国信通院研究团队持续优化综合算力指标体系，在往年基 础上，增加模型能力的呈现，从算力、存力、运力、模力、环境多个维度，更 加准确剖析我国算力产业发展态势。 《2025 综合算力指数》为我们提供了一个全面而系统的视角来洞察我国算 .................................................................................. 36 表 目 录 表 1 指标体系与计算口径........................................................................................ 41 综合算力指数 个维度出发，分析各维度量化因素，构建综合 算力指数体系 4.0。 与综合算力指数体系 3.0 相比，综合算力指数体系 4.0 优化内容 如下：新增模力指标维度，构建涵盖算力、存力、运力、模力、环 境等关键因素的综合算力指数指标体系；对算力、存力、运力、环 境各部分的指标进行优化。 2.指数体系 综合算力指数体系从算力、存力、运力、模力、环境五个维度 衡量我国 31 个省级行政区（省、自治区、直辖市）的综合算力发展

模型评测模块是人工智能行业大模型 SaaS 平台的重要组成部 分，它的主要目的是对所训练的模型进行客观、系统的性能评估， 以便为用户提供充分的信息，帮助他们选择合适的模型并制定后续 的优化策略。该模块应具备多维度的评测指标体系，并支持灵活的 评测方式，确保用户获得的评测结果具有良好的可信度和解释性。 功能设计上，模型评测模块应包括以下几个核心功能： 1. 自动化评测：用户上传模型后，系统可依据预先设定的评测标 模型压缩：利用剪枝、量化等技术减小模型体积，提高推理速 度，降低资源消耗。 2. 知识蒸馏：将大型模型的知识转移到小型模型中，从而保持性 能的同时降低计算需求。 在评估和监控模型性能时，必须建立系统的指标体系。我们可 以采用以下指标来衡量模型的效果：  准确率（Accuracy）  精确率（Precision）  召回率（Recall）  F1-score 通过定期回顾这些指标，我们能够及时发现潜在的问题并进行 析。定期汇总用户反馈，识别出用户反馈中出现的关键问题和全局 趋势。基于这些反馈数据，平台可以构建一个反馈池，里面包含了 用户的建议、评价、投诉等。 为了量化用户对大模型 SaaS 平台的体验，我们建议设置一套 评价指标体系。指标可以从以下几方面进行衡量： 1. 功能使用率：分析用户对各项功能的使用频率，识别出哪些功 能受到欢迎或被忽视。 2. 用户满意度（CSAT）：通过简单调查问卷获取用户对平台的 直接满意度评分。

风险等级划分与报告生成 风险等级划分与报告生成是智能体在审计风险预警中的核心功 能模块，通过量化分析、规则引擎与动态模型相结合的方式，实现 风险的标准化评估与自动化输出。具体流程如下： 1. 风险量化指标体系 基于审计准则与企业特性，构建三级量化指标库，包含财务、 合规、运营三大维度。一级指标权重通过层次分析法（AHP） 动态调整，例如财务异常类指标权重占比 40%-60%，合规类 30%-45%。关键指标示例如下：

在银行系统中持续优化，始终保持高水平的性能和用户满意度。 18.4 改进评估 在 Deepseek 大模型于银行系统的部署过程中，改进评估是确 保模型持续优化和提升性能的关键环节。首先，评估团队需建立一 套全面的评估指标体系，涵盖模型的准确性、响应时间、资源消 耗、用户满意度等关键维度。这些指标应通过自动化工具定期采集 并与预设的基准值进行对比，确保评估过程的客观性和一致性。对 于异常指标，需进行根因分析，明确是由于模型参数调整、数据分

大模型的应用过程中，风险监测与调 整机制是确保项目顺利实施和持续优化的重要环节。该机制有助于 及时识别潜在的风险因素，控制其影响，并依据实际情况进行必要 的调整，从而提高项目的整体安全性和效率。 首先，建立全面的风险监测指标体系，对项目实施的各个环节 进行实时监控。这些指标可以包括但不限于：数据质量监测、模型 性能评估、系统安全检查、用户反馈收集等。通过定期和不定期的 统计分析，及时发现偏差和问题。指标的数据来源可涵盖以下几个

计1000万行以上的代码，通过大模型进行了LoRA微调，其模型效果在公司内部代码评测 集上提升明显。 为进一步确保微调后的代码大模型能够在实际应用中发挥其赋能潜力，公司构建了 一套严谨的过程评价指标体系和数据追踪机制。在落地过程中，按照每日追踪和数据复盘 的方式，去引导和培养开发团队在代码开发过程中对于大模型的应用习惯。经过半年多的 模型优化和落地使用，代码大模型的辅助赋能效果超过代码总数的20%，很好地推进了研