高可用、变更与综合交付

复合故障时间线和证据保全

本课问题:多个告警同时出现时,怎样区分根因和连锁反应? 学完你能:对齐 NTP、接口、STP、LACP、VRRP 和 OSPF 事件,形成可复核时间线。

进阶35 分钟作者:课程内容组核验:内容技术审核组 · 2026/8/7
正在读取学习状态...

前置知识

  • 结构化排障:物理→二层→三层→服务→策略
课堂开场

本课问题:多个告警同时出现时,怎样区分根因和连锁反应?

学完结果:对齐 NTP、接口、STP、LACP、VRRP 和 OSPF 事件,形成可复核时间线。

预计时间:35 分钟。前置课:结构化排障:物理→二层→三层→服务→策略。

范围控制:本课不凭最后一个告警直接下结论。

今天只记 1:先确认所有证据使用同一时间基线。
今天只记 2:最早告警不一定是根因,但必须解释事件先后。
今天只记 3:清计数、重启和恢复前先保存现场证据。

02基础知识讲解

凌晨先后出现上联抖动、LACP 成员退出、VRRP 切换和 OSPF 邻居重建,需要判断根因与连锁反应。

本课最小拓扑或状态图:Access1 Eth-Trunk1—Core1/Core2—OSPF—Edge;Syslog/NTP 集中服务器保存全部事件。

直觉解释:把不同设备的事件放到同一时间轴,最早事件是调查起点,但仍要用因果证据证明它触发了后续变化。

正式定义:复合故障时间线是将统一时间基线下的接口、协议、资源和业务事件按先后及因果关系组织的可追溯证据。

判断依据:清计数、重启和恢复前先保存现场证据。

重点你要理解判断依据
重点 1先确认所有证据使用同一时间基线。10:02:01 光模块 LOS,随后 LACP 退出、VRRP 切换,业务在 10:02:03 恢复;时间与依赖关系吻合。
重点 2最早告警不一定是根因,但必须解释事件先后。LOS 先于 LACP 成员退出,证明物理异常早于聚合变化。
重点 3清计数、重启和恢复前先保存现场证据。检查时区和时钟偏差是否已校正。

03正确理解与常见误解

正确示例:10:02:01 光模块 LOS,随后 LACP 退出、VRRP 切换,业务在 10:02:03 恢复;时间与依赖关系吻合。

错误示例:看到最后一条 OSPF Full 日志便认定 OSPF 是根因,忽略更早的物理抖动。

  • 术语与判断:先确认所有证据使用同一时间基线。
  • 术语与判断:最早告警不一定是根因,但必须解释事件先后。
  • 术语与判断:清计数、重启和恢复前先保存现场证据。

04老师演示

演示环境:设备 SW1,华为 S5735-L24T4X-A,VRP V200R022C00SPC500,当前提示符 <SW1>,隔离课程网络。教师准备执行只读命令:

安全说明:命令来自“按模块与级别筛选日志”华为实现,用于华为VRP 中用于按模块与级别筛选日志的最小操作与核验方法。 执行前已确认当前设备、版本、视图、影响对象、停止条件和输出脱敏范围。

脱敏真实输出:

<SW1>display logbuffer | include GigabitEthernet0/0/48
<Core1> display logbuffer | include 10:02
10:02:01.104 GE1/0/48 LOS; 10:02:01.220 LACP member Unselected
10:02:01.890 VRRP10 Master->Backup; 10:02:03.010 probe recovered

异常输出:

Core2 clock offset +96s from Core1
Evidence overwritten after counters cleared at 10:04
差异说明:两核心相差 96 秒会破坏事件先后判断,计数已清除又丢失现场;下一步恢复 NTP、保全日志并避免再清理证据后再做归因。
此时不能套用正常结论;先保存采集时间,再执行“检查接口抖动与最后状态变化”对应的最小只读检查。

05逐行读懂输出

结论:当前输出可以支持“对齐 NTP、接口、STP、LACP、VRRP 和 OSPF 事件,形成可复核时间线。”中的基础判断,但仍要完成跟做任务和业务验收,不能把单份输出当作全部证明。

  • 第 1 行“<Core1> display logbuffer | include 10:02”:这是按时间过滤的原始日志入口,需与其他设备统一时钟后比较。
  • 第 2 行“10:02:01.104 GE1/0/48 LOS; 10:02:01.220 LACP member Unselected”:LOS 先于 LACP 成员退出,证明物理异常早于聚合变化。
  • 第 3 行“10:02:01.890 VRRP10 Master->Backup; 10:02:03.010 probe recovered”:随后 VRRP 切换、业务恢复,形成连锁时间线;它支持因果假设但仍需对端证据佐证。

06学员跟做

起始状态:使用隔离课程环境,SW1 当前配置保持阶段基线,学员已登录但尚未执行本课检查。目标状态:对齐 NTP、接口、STP、LACP、VRRP 和 OSPF 事件,形成可复核时间线。

操作步骤:①先核对所有设备和探针的 NTP 偏差;②导出接口、LACP、STP、VRRP、OSPF 与业务事件;③按统一时间排序并为每个相邻事件写因果证据;④区分根因、连锁反应和恢复动作,保留原始输出;⑤进入“限时:聚合上联间歇丢包”独立完成相同目标。

成功标准:输出与规划一致,立即闯关全部目标通过,并能用自己的话说明三个重点。失败检查顺序:①检查时区和时钟偏差是否已校正;②确认日志缓冲未因重启或清理丢失;③核对最早事件是否真能解释全部受影响路径。

  • 保存教师演示命令和本次学员输出,文件名含设备、日期和课次。
  • 步骤标题只提示检查对象,不复制最终答案。
  • 失败时一次只验证一个假设,不连续粘贴未知命令。

07安全、验证与回滚

本课以只读观察为主。只读命令仍可能暴露资产信息,保存输出前要替换序列号、真实公网地址、账号和其他敏感字段;任何清表、重启、删除或配置动作都不属于本课。

验证必须同时回答:配置或输入是否正确、设备状态是否符合预期、真实任务“对齐 NTP、接口、STP、LACP、VRRP 和 OSPF 事件,形成可复核时间线。”是否完成。

08本课关联资源

按顺序完成:先看命令 → 立即闯关 → 可选加练 → 案例步骤 → 返回本页复盘。

  • 必学命令:按模块与级别筛选日志打开资源 →目标:核对本课涉及的华为主线命令及四厂商差异|完成标准:能解释用途、视图、版本范围、验证和回滚。
  • 必学命令:检查接口抖动与最后状态变化打开资源 →目标:核对本课涉及的华为主线命令及四厂商差异|完成标准:能解释用途、视图、版本范围、验证和回滚。
  • 必学命令:采集企业园区网复合故障证据打开资源 →目标:核对本课涉及的华为主线命令及四厂商差异|完成标准:能解释用途、视图、版本范围、验证和回滚。
  • 立即闯关:限时:聚合上联间歇丢包打开资源 →目标:独立完成“对齐 NTP、接口、STP、LACP、VRRP 和 OSPF 事件,形成可复核时间线。”对应的最小任务|完成标准:规则引擎全部目标通过并保存关键输出。

09自测一:概念判断

先判断对错,再写出为什么。

  • 判断 1:以下做法是正确的——看到最后一条 OSPF Full 日志便认定 OSPF 是根因,忽略更早的物理抖动。
  • 判断 2:以下做法是正确的——10:02:01 光模块 LOS,随后 LACP 退出、VRRP 切换,业务在 10:02:03 恢复;时间与依赖关系吻合。

10自测二:输出解读

重新阅读老师演示的第 2 行输出:它能直接证明什么?还不能证明“对齐 NTP、接口、STP、LACP、VRRP 和 OSPF 事件,形成可复核时间线。”中的哪一部分?请写出下一条最小验证证据。

11自测三:小型操作

在隔离环境或纸面拓扑中完成:对齐 NTP、接口、STP、LACP、VRRP 和 OSPF 事件,形成可复核时间线。 保存关键输出,按“现象—证据—结论—下一步”写四行记录;不得复制本页最终结论。

答案与复盘

13下一课

下一课:园区交付:方案、配置、验证、回滚和运维交接。你已经能“对齐 NTP、接口、STP、LACP、VRRP 和 OSPF 事件,形成可复核时间线。”,下一课将用这项能力继续回答“怎样证明网络不仅能运行,而且可以长期由他人维护?”。

复合故障时间线和证据保全|vlanif.cn