技术故障 应急协同机制的探索 目录 技术故障重要性及定义 技术故障的全生命周期 如何落地应急协同机制 G O P S 全 球 运 维 大 会 暨 X O p s 技 术 创 新 峰 会 2 0 2 4 · 北 京 站 小结及展望 技术故障的重要性及定义 01 G O P S 全 球 运 维 大 会 暨 X O p s 技 术 创 新 峰 会 2 0 2 4 · 北 京 京 站 G O P S 全 球 运 维 大 会 暨 X O p s 技 术 创 新 峰 会 2 0 2 4 · 北 京 站 技术故障重要性 海恩法则，也被称为Heinrich‘s law，是由德国飞机 涡轮机的发明者帕布斯·海恩提出的一个关于飞行安 全的法则。这一法则强调，每一起严重事故的背后， 必然有29次轻微事故和300起未遂先兆以及1000起事 故隐患。这表明，任何严重事故的发生都是经过了一 峰 会 2 0 2 4 · 北 京 站 什么是故障？ 问题？ 风险？ 故障？ 事故？ 事件？ 影响了业务的才是故障？ G O P S 全 球 运 维 大 会 暨 X O p s 技 术 创 新 峰 会 2 0 2 4 · 北 京 站 技术故障在ITIL中的定义 ITIL定义：“服务的意外中断或服务质量的降低” 故障 问题 ITIL定义：为“问题”、“已知错误”，问题意味着隐患风险，已

本白皮书面向新型智算中心逐渐以承载 AI 业务为主的演进诉求，提出 FlexLane 链路高可靠技术构想。该技术基于高速接口多通道架构的现状，打破原 有固定组合，引入灵活多通道架构，通过降速运行实时有效的规避任何通道发生 的故障，将链路可靠性提升万倍以上（助力 AI 网络互联可靠性超越 5 个 9），保 障 AI 训练和推理业务不受影响。FlexLane 技术支持在现有设备上通过软件升级快 速部署，或升级硬件实现更优的 ........................ 6 3 FlexLane 关键技术 ................................................8 3.1 故障隔离 ..................................................... 8 3.1.1 软件升级 ............................ ............................. 10 3.1.3 技术效果 ............................................. 13 3.2 故障预防 .................................................... 14 3.3 动态节能 ..............................

求。 除了稳定的产品外，强大的运维体系是保障云平台稳定性最直接、最有 效的手段。在主机核心业务逐步上云后，如何加强运维全链路监控能 力，快速定位、定界和解决问题，如何变被动运维为主动故障预防从而 大幅减少潜在故障与运维投入，如何将应用运维与平台运维进行有效协 同从而保障系统性业务高可靠高可用，如何应对平台运维安全与租户安 全带来的双重挑战等问题，成为了摆在金融运维人面前的关键挑战。 华为 全链路运维监控构建从应用到云平台的全栈感知能力 2.1.2 基于故障模式库和云网一体化运维实现确定性故障恢复 2.1.3 基于一体化风险库和混沌工程进行预见性风险治理 2.2 应用运维现代化 2.2.1 运维规划前置到设计阶段，业务可靠性来源于运维与设计的融合 2.2.2 借助运维数仓构建应用可用性监控管理体系，实现业务故障实时感知定界 2.2.3 面向故障全生命周期，全方位提升故障感知、诊断、恢复智能化水平 2.3 基于先进的单元化设计理念达成核心应用N个9的可 靠性也是IT管理者面临的难题。 最后，服务SLA（Service Level Agreement, 服 务水平协议）的达成还需要有相匹配的管理手段与工 具，如故障模式库、演练工具等资源作为支撑，不但 要能有效跟踪度量SLA的实际效果，还需要持续、 主动发现可用性风险的机制与工具，在可用性管理的 过程中实现数据积累和能力演进。 挑战2：云平台技术栈快速增厚，如何

机房环境 硬件设备 网络 中间件 业务 数据 系统 应用 IT 监控运维 业务运营 人 员 方 法 流 程 工 具 可用性 成本 连续性 性能 体验 设备故障 系统异常 系统故障 系统变更 企业 IT 监控运维是企业业务正常与高效运转的基础保障 系统监控 维修更新 业务保障 应用反馈 6 IT 运维现状 · 被动救火式运维模式，业务风险高、运维人员疲于奔命 新系统上线越来越多 业务访问量快速增长 用户体验要求越来越高 业务处理时效性更高 业务中断容忍度更低 高层对 IT 部门考核更严…… 系统架构越来越复杂 故障类型越来越多 系统负载更大、故障风险高 故障排查、修复更难 技术快速演进与新技术应用 人员技术能力与经验不足 人员成本越来越高 知识经验无法沉淀…… 外部 挑战 内部 挑战 规模更大 要求更高 变化更快 定时粗略巡查 等待故障报告 人工故障处理 实时全面监控 分散维护系统 集中监控系统 自动故障处理 提前故障预警  随着业务对 IT 运维提出的要求越来越高，原来传统的被动救火式的 IT 运维模式已经不能 满足企业的要求，无法为业务的发展提供保障  只有借助当前先进的技术，构建主动巡防式的 IT 监控与运维体系，能够提前预防并智能 化处理系统的各类故障，才为业务的快速发展保驾护航，满足企业对

应用维度根因定位 几个 核心系统 被动应急 故障统一调度 系统具备应急预案 故障点人工恢复 统一变更入口 工具建设 集团+省分 几百套系统 跨系统全链路 定界诊断 主动预防 集团+分子公司 整体态势感知 混沌工程 故障自愈 变更追踪 变更管控 体系建设 故障发现 与诊断 故障恢复 与应急 故障预防 故障调度 体系演进 分布式架构挑战 运维生态挑战 数智运维挑战 数智运维挑战  端到端稳定性保障体系缺失，自动化、智能化故障处理能力不足  故障处理过多依赖专家经验，故障没有沉淀为有效的资产  故障处于被动防御，救火，运维大数据未被合理价值挖掘  工具重复：工具按烟囱式建设，能力分散  能力割裂：运维工具能力割裂不成体系  数据孤岛：应用、数据库、中间件、云平台、 基础设施各管自身  维护对象：系统节点、微服务数量几何级数增加  稳定性保障工具建设历程 一个目标，依托四大保障，聚焦研运流程中四个阶段，对应十五项核心工作，严格把控七个关口，将安全生产 稳定性保障左移，在入网控制时介入，对入网控制、发布上线、故障预防、故障发现、故障定位，故障恢复、 故障改进提供端到端工具支撑。 核心业务链路深度治理 做实安全生产，提升IT系统稳定性 架构设计 研发测试 生产变更 运营支撑 稳 定 性 架 构 设 计 版 本 管 理 变

海 站 几个 核心系统 单系统 应用维度根因定位 故障点人工恢复 系统具备应急预案 被动应急 统一变更入口 故障统一调度 工具建设 数字化转型中系统安全生产痛点 问题 数智运维挑战 n 端到端稳定性保障体系缺失， 自动化、智能化故障处理能力不足 n 故障处理过多依赖专家经验，故障没有沉淀为有效的资产 n 故障处于被动防御，救火，运维大数据未被合理价值挖掘 分布式架构挑战 中间件、云平台、 基础设施各管自身 集团 + 省分 几百套系统 跨系统全链路 定界诊断 故障自愈 混沌工程 主动预防 变更追踪 变更管控 集团 + 分子公 司 整体态势感 知 体系建设 故障发现 与诊断 故障恢复 与应急 故障预防 故障调度 体系演进 稳定性保障工具建设历程 一个目标，依托四大保障，聚焦研运流程中四个阶段，对应十五项核心工作，严格把控七个关口，将 安全生产 稳定性保障左移，在入网控制时介入，对入网控制、发布上线、故障预防、故障发现、故障定位，故 障恢复、 故障改进提供端到端工具支撑。 GO PS 全 球 运 维 大 会 2 0 2 3 · 上 海 站 做实安全生产，提升 IT 系统稳定性 核心业务链路深度治理 设计关

技术在全球范围内的商用推广，通信网络的规模和复杂性急剧 增长。近年来，全球通信网络中的重大故障事件也屡屡发生，给运营商和用户带 来了严重的影响。根据互联网公开数据和行业报告不完全统计，在 2021 年至 2024 年期间，全球通信行业发生了超过 66 起重大网络事故，影响范围广、恢复时间长、 经济损失严重。如何提高网络设备的容错性、提升整网抗信令风暴的鲁棒性以及 故障自愈的高效性是 6G 网络必须优先考虑和解决的问题。 图 图 1 2021年至2024年4/5G商用事故统计 事故诱因复杂，以网络故障和动网操作为主。4G/5G网络的故障呈现出软硬结 合、内外因交织的复合性特点。其中，网络故障占比约50%，通常由网络自身设 计缺陷或容灾不足引起网络中断，包括硬件故障、网络云故障、核心网故障、传 输承载故障等。其次，动网操作占比约38%，通常由人为的网络维护操作、或升 级调试等行为引发网络功能异常、甚至信令风暴和大面积服务中断。 4/5G智能终端永远在线的设计，导致短时间内反复重试引发过载。 语音和数据业务会同时受影响。占比约88%，因语音和数据业务强耦合设计， 一方面语音业务都是基于IMS承载的，当数据业务发生故障，语音业务也将遭受 牵连；另一方面因为终端的语音优先策略，当语音业务故障时会释放数据连接。 事故诱因 事故现象 业务影响 中断时长 3 业务中断时间长。88%的事故中断时长超过2个小时，50%的事故中断时长超过 5个小时，主要

战，这些挑战涉及日常运维、主动预防以及故障恢 图1.1 混合云现代化运维顶层设计参考架构 运维体系 现代化 统一化 运维体系 运维体系升级 IT架构演进升级 平台运维现代化 极简性 运维体验 极简信息汇聚 极简运维操作 极简管理决策 预见性 风险治理 风险预防管理 变更风控管理 混沌工程演练 确定性 故障恢复 可用性指标构建 全链路可观测 故障感知与快恢 云网定位定界 应用运维 应用数据治理 运维故障分析 安全运维现代化 无死角 安全管控 用户授权可控制 作业过程可信赖 合规遵从高等级 体系化 租户安全 云原生安全 全栈端到端安全 智能安全管控 混合云现代化运维设计参考架构 数字资产&运维能力迭代 云运维团队组建 运维团队管理流程经验 运维人才培养机制 运维团队能力沉淀 运维专家经验知识库 运维脚本、故障模式库 智能客服 运维资产智能转型 复等方方面面，华为在每个领域都提出了运维现代 化改进的方案：极简性的运维体验应对政企混合云 运维投入人力有限的场景，保证混合云运维效率； 预见性风险治理帮助政企客户实现风险的提前感知 与预防；确定性故障恢复则给出了在云与业务耦合 度日益加深的背景下的最佳答案。 应用运维现代化 当前，越来越多的用户将关注点从云与设备运维转 向应用的运维，尤其是承载着经济乃至国计民生的 05 核心应用的运维受到运维管理者额外的重视。将应

构数据、跨平台服务交互等问题导致运维风险攀升，传统监 控手段难以精准定位故障与性能瓶颈。在此背景下，构建端 到端可观测性能力，实现全链路洞察成为制造企业保障系统 稳定性、提升生产效率的必由之路。 可观测性技术为制造业注入新动能。博睿数据凭借一体化智 能可观测平台领先的全栈数据采集与智能分析能力，可真正 实现全栈、全链路、全场景的可观测性，精准定位故障根因、 预判风险并优化资源配置。显著缩短MTTR、降低运维成本， 同时以数据驱动生产流程优化，为质量管控、供应链协同等 场景提供敏捷支持，最终转化为可持续的竞争力优势。 本案例集收录了制造业多家精选客户实践，系统梳理了近年 来博睿数据服务制造企业的典型经验，聚焦生产系统监控、 故障智能诊断、性能持续优化等核心场景，为制造企业数字 化转型提供可参考、可复制的实战指南。 01 02 03 04 05 06 07 08 09 10 11 12 13 14 博睿数据成立已有十余年，在IT运维领域拥有独 特的优势 产品应用领域广泛 博睿数据产品已广泛应用于银行、证券、保险、 高端制造等领域 应用效果 深度剖析业务交互数据，快速 定位问题根因 快速锁定故障业务操作人员，时效性 由原来2小时缩短至5分钟 优化代码质量，提高应用性能 有针对性的优化代码执行效率，协助 开发人员将SCM生产管理系统的响应 时间降低46.2% 降低运维难度，提高运维效率