打造自适应 AI 运维智慧体： 大语言模型在软件日志运维的实践 刘逸伦 华为 2012 实验室 本科毕业于南开大学 ，硕士毕业于美国佐治亚理工学院。研究方向包括 AI 智能运维 ，大模型质量评估以及大模型提示策略 ，在相关领域以第一作者、 通讯作者身份在 ICDE 、 ICSE 、 IWQoS 等顶级国际会议 / 期刊发表 10 余篇 论文。 刘逸伦 华为 2012 文本机器翻译实验室工程 文本机器翻译实验室工程 师 演讲嘉 宾 1. 软件日志运维观点 2. 自适应智慧体在运维领域面临的 Gap 3. 大模型 Prompt 引擎助力自适应运维智慧 体 4. 大模型知识迁移打造运维专精模型 5. 未来畅想 目录 CONTENTS PART 01 软件日志运维观点： 智能运维演进趋势是从任务数据驱动到自适应运维智慧体 (1) 日志是机器语言：大规模网络、软件系统在运行过程中每天会产生 级别的日志，这些日志是一些类自然语言的文本，实时描述了设备 的运行状态、异常情况。 (2) 传统网络运维是机器语言的人工翻译过程：为了维护网络的稳定，运维人员会持续监控设备的运行状态，希望准确、及时地检测异常和 突发事件。网络日志是设备运行维护最重要的数据源，运维人员通常会通过解读日志中的自然语言、语义信息来发现问题、分析根因。 (3) 自动日志分析是机器语言的自动翻译过程：

项目编号： 铁路沿线实景三维 AI 大模型 应 用 方 案 目 录 1. 项目背景与目标............................................................................................6 1.1 铁路运输的重要性...................................... ..7 1.2 现有铁路管理模式的不足.....................................................................9 1.3 实景三维 AI 大模型的优势..................................................................11 1.4 项目目标与愿景......... ........................................................................................14 2.1 实景三维建模技术..............................................................................16 2.1.1 数据采集方法..

力新质生产力，服务 不可或缺。智算集群是一个复杂工程系统，非简单的软硬件的堆砌，它要求 算、存、网、服务的高效协同。智算服务包含智算集成、运维、计算使能和优 化、辅助运营等方面。发挥极致集群算力，需要构建智算服务产业共识，持续 推进智算服务产业升维。 我们期望通过本案例集的发布，能够进一步促进行业内各方的深度交流 与协同创新，共同推动智算服务发展与应用推广，为构建高效、绿色、智能的 9 3.1.4 广东电信韶关数据中心间接蒸发冷却技术应用 ..................................................... 11 3.1.5 联合开发智算运维调度系统保证集群训练长稳高效 ............................................. 13 3.2 模型支持和行业应用类服务 ................. 心是“能耗巨兽”，在规划阶段 若未充分考虑绿色节能技术和集约化设计，将导致后期运维成本极高，难以持续。缺乏前 瞻性的规划设计易导致智算中心建成即落后。 在运维阶段，如何将不同架构、不同厂商的算力资源高效池化、统一调度和管理，是 一个巨大的技术挑战。智算集群对稳定性与可靠性要求极高，AI 训练任务通常需要连续运 行数天甚至数周，任何硬件故障或网络波动都可能导致任务失败，造成巨大经济损失和时

集成文档编写..................................................................................104 11. 部署与运维.............................................................................................106 11 监控与报警.....................................................................................113 11.4 运维流程设计..................................................................................116 12. 用户培训 式，结合敏捷管理方法，分阶段实现功能模块的交付与优化。每个 阶段都会进行严格的测试与验证，确保智能体在不同场景下的稳定 性和可靠性。此外，方案还将提供详细的技术文档和培训支持，帮 助企业快速掌握智能体的部署与运维技能。 在成本与收益方面，方案的经济效益主要体现在以下几个方 面： - 通过自动化处理与智能决策，大幅减少人力成本与操作失 误； - 提升数据处理速度与决策效率，缩短业务响应时间；

模型在银行系统中的部署仍面临诸多挑战，包括数据安全、模型性 能优化、系统集成和合规性等问题。 为应对这些挑战，本项目旨在设计一种切实可行的 Deepseek 大模型部署方案，确保其能够在银行环境中高效、稳定、安全地运 行。该方案将结合银行的实际业务需求和技术架构，从以下几个方 面展开：首先，明确大模型在银行系统中的核心应用场景，包括但 不限于客户服务、风险管理和运营优化；其次，设计高可用、高性 能的模型部 求，进行 Deepseek 大模型的定制化调优，确保模型在金融领域的准确性和 高效性；其次，设计并实施模型的部署方案，包括硬件资源配置、 软件环境搭建以及模型参数优化，确保模型能够稳定、高效地运 行；第三，完成与银行现有系统的无缝集成，确保数据流的顺畅和 安全性，同时开发相应的 API 接口，便于其他系统调用；第四，建 立完善的监控和维护机制，及时发现并解决模型运行中的问题，确 保系统的长期稳定运行。 盖了多方面的角色和机构，确保项目的顺利实施和持续优化。首 先，银行内部的核心参与者包括信息技术部门、风险管理部门、业 务运营部门和客户服务部门。信息技术部门负责模型的硬件基础设 施搭建、系统集成和日常运维；风险管理部门确保模型的应用符合 监管要求，并对模型输出进行风险评估；业务运营部门利用模型优 化业务流程，如信贷审批、客户分群和产品推荐；客户服务部门则 通过模型提升客户体验，例如智能客服和个性化服务。

在线逻辑控制 建筑智慧运营、智能决策辅助分析、模糊控制、多场景可视化大屏 展示、个性化定制 使用对象 运维人员分级 全域授权 主要技术 机电技术、组件模块、逻辑编程、工控组态 云计算、云存储、大数据 ( 模型 ) 、 Al 算法、数字孪生 (AR 实景 、 VR 虚拟现实、三维模型、视频空间化 ) 、 APP 、小程序、 Vue/React; 建设特点 与智化子系统 机电设备 步建设并验收 在线逻辑控制 建筑智慧运营、智能决策辅助分析、模糊控制、多场景可视化大屏 展示、个性化定制 使用对象 运维人员分级 全域授权 主要技术 机电技术、组件模块、逻辑编程、工控组态 云计算、云存储、大数据 ( 模型 ) 、 AI 算法、数字孪生 (AR 实景 、 VR 虚拟现实、三维模型、视频空间化 ) 、 APP 、小程序、 Vue/React; 建设特点 与智化子系统 机电设备同步建设并验收 协议 视频监控管理 监控大屏 监控回放 视绩分析 运行数据统计 异常用电分析 光伏发电统计 食堂管理 食堂监控 刷脸消费 线上订餐 电梯管理 设备运行 监测 维保查询 工单管理 派单 接单 验收 iBMS iBMS 考勤管理 每日看板 考勤查询 汇总统计 用户管理 角色管理 报警管理 中盈能源管 大华监控 理系统 系

........................................................................................87 11. 部署与运维................................................................................................... ..........................................................................................90 11.2 运维策略与流程.............................................................................................. 接下来，特征工程模块从清洗后的数据中提取有意义的特征。 这包括技术指标（如均线、MACD、RSI 等）、基本面指标（如市 盈率、市净率、资产负债率等）以及基于机器学习的特征（如通过 PCA 降维后的特征）。特征工程模块通过自动化流程实现特征的快 速生成和选择，减少人工干预，提升效率。 模型训练模块是系统的核心部分。DeepSeek 模型基于深度学 习框架构建，支持多种神经网络结构（如 LSTM、Transformer

模的数据集， 满足多样化的业务需求。 4. 提高系统可扩展性: 采用模块化设计，支持随业务增长进行功 能扩展和性能优化，确保系统能够长期稳定运行。 5. 降低运维成本: 通过自动化部署和监控机制，减少人工干预， 降低系统运维成本，同时提升系统的可靠性和可维护性。 为实现上述目标，系统将采用以下技术架构： - 数据处理模块: 集成了高效的数据清洗和标注工具，支持批量处理 和实时更新。 源数据接入，具备实时数据采集和批量数据导入的能力，确保数据 的完整性和时效性。 数据处理层是整个系统的核心部分，主要负责数据预处理、特 征工程和数据存储。该层对原始数据进行清洗、去噪、归一化等操 作，并通过特征提取和降维技术生成可用于模型训练的高质量数据 集。数据处理层还支持分布式计算框架，能够高效处理大规模数据 集，确保数据处理的效率和准确性。 模型训练层基于数据处理层输出的高质量数据集，采用多种机 器学习 学习率变 化的可视化 - 检查点管理及自动恢复机制 最后，建立异常检测与告警机制。通过设定合理的阈值，当训 练过程中出现异常（如损失值突变、硬件资源超负荷等），系统能 够及时发出告警，提醒运维人员进行处理。这可以最大限度地减少 训练中断或模型失效的风险。 通过上述监控措施，可以全面掌握模型训练过程中的各项关键 指标，及时发现并解决问题，确保训练任务的顺利进行和模型性能 的优化。

个可用区保证 99.95% SLA 网络要求  内网传输需保证 10Gbps 以上带宽，时延<5ms  公网 API 接口需配置 WAF 防护，建议预留 20%带宽余量应对 突发请求 运维监控体系 部署后需实时采集以下指标： - GPU 利用率阈值告警（>85%持续 5 分钟） - 显存占用监控（每实例预留 2GB 缓冲） - API 成功率看板（按部门/业务线细分） - 自动扩缩容策略：当并发队列等待数>10 定期清洗对话数据，剔除无效样本提升训练质量 该方案在某电商平台试点期间，使客服人力成本降低 37%，首 次响应时效提升至 98% within 30 秒，工单误派率从 15%降至 6%。建议初期配置 3 人运维团队负责模型监控和知识库维护，后 续可随业务量增长逐步扩展。 3.1.2 多语言支持与翻译 在智能客户服务场景中，多语言支持与翻译功能通过 DeepSeek 大模型实现全球化客户沟通的无缝衔接。系统可自动识 请求格式错误） - 5xx 级错误触发熔断机制（如 503 服务不可用） 2. 客户端实现本地缓存降级策略，当连续 3 次调用失败时自动切换 预置应答模板 3. 实时告警通过 Webhook 推送至运维中台，包含错误堆栈、环境 变量等诊断信息 会话保持方案 版本兼容性管理 - 接口版本通过 HTTP Header X-API-Version 指定，默认 v1.2 - 旧版本接口维护周期为

执行，简化系统架构，提升响应性能与可靠性，持续改善搜推广、语音/视频处理以及中小模 型的推理体验。 云原生方案形成整体保障：除了算力层面的降本措施，云服务商还通过持续增强弹性伸缩、 Serverless以及统一运维等云原生解决方案的效能，实现硬件、算法、平台、服务的协同进 化。例如，在强化弹性伸缩能力时，综合运用编排调度（例如Kubernetes）、服务监控、服 务治理以及相关的配置管理等云原生能力，在提高弹性伸缩的速率的同时，持续增强自动化 云原生架构带来系统架构和技术栈的新问题：例如如何处理微服务间频繁的通信、复杂的拓 扑、多样化存储以及动态多变的负载等，并强化隔离保障安全。云服务商通过持续增强弹性 伸缩、Serverless以及统一运维等云原生解决方案的效能，帮助用户降低成本。例如，在强 化弹性伸缩能力时，综合运用编排调度（例如Kubernetes）、服务监控、服务治理以及相关 的配置管理等云原生能力。 �� �.� AI数据处理与计算协同的复杂度激增 时，大量的线上业务依赖7×24小 时高可用性，业务中断或数据丢失都可能引发巨额经济损失。 运维复杂度⸺人力与资源的双重负担：云计算的分布式架构和动态资源调度需求增加了运维 难度。大型企业可能使用跨区域、跨云环境下数以千计的实例，处理自动化扩容、故障转移 等复杂任务。企业需投入大量的云原生开发和运维人才，采购昂贵的监控与自动化工具等。 成本控制⸺算力性价比难题：企业多云集群和异构计算资源的效率和适配不足，使算力成