(1)确认影响范围:记录受影响的源/目标IP、端口、时间段与影响业务(示例:到韩国数据中心的公网IP 203.x.x.x HTTP/S 报错)。
(2)收集接口信息:本端公网出口IP、上一跳ISP网关、对端网关和对端ASN(BGP 信息)。
(3)准备工具:mtr/traceroute/ping/iperf3/tcpdump、设备命令行(Cisco/Juniper/ Linux),记录工单号与维护时间窗口。
(1)ICMP 连通:ping -c 10 203.x.x.x,观察丢包与RTT 峰值。
(2)往返路径分析:traceroute -n 203.x.x.x 或 traceroute -T -p 80 203.x.x.x,查看在哪一跳开始异常。
(3)持续跟踪:mtr -rwzbc100 203.x.x.x,定位稳定丢包或间歇性丢包的 hop。
(1)查看邻居与路由表:Cisco: show ip bgp summary; show bgp ipv4 unicast neighbors x.x.x.x received-routes。Juniper: show bgp neighbor;show route protocol bgp。
(2)检查是否有route flap、AS path 变化或错误的社区/route-map 策略导致流量误导。必要时执行 clear ip bgp x.x.x.x soft in/out 以重建会话。
(3)确认本地出口策略是否优先 CN2:核对本端路由优先级、MED、local-preference,避免策略误判导致非CN2路径走向。
(1)检查接口状态:show interface / ip -s link,注意 errors、drops、CRC、frame 等。
(2)网卡与收发器:ethtool eth0(Linux)或 show interfaces transceiver(Cisco/Juniper)检查速率/双工/光功率是否异常。
(3)链路清理:重启接口(shutdown/no shutdown)或短时切换到备用端口,记录恢复与影响。
(1)MTU 测试:ping -M do -s 1472 203.x.x.x(1472+28=1500),逐步减小至不丢包,定位最大可达MTU。
(2)TCP MSS 调整:对于 NAT/隧道/ MPLS 环境,按需在防火墙或路由器上降低 MSS(例如 ip tcp adjust-mss 1360 或防火墙相应设置)。
(3)确认中间设备是否禁止 ICMP Fragmentation Needed 导致路径MTU不可发现(PMTUD 被阻断)。
(1)抓包要点:tcpdump -i eth0 host 203.x.x.x and tcp -w /tmp/pcap.pcap,抓取异常时段至少 60s,记录时间戳与流量方向。
(2)分析要查:SYN/ACK 是否被收到、重传次数、TCP 窗口、RST/ICMP 错误码(Fragmentation Needed、Destination Unreachable)。
(3)上报证据:将 pcap 与 mtr/traceroute 输出整理成 MRT(multi-router traceroute)或文本,递交给上游 ISP/承运商工程师。
(1)临时恢复:根据分析,常用临时措施包括切换到备份出口、调整本地路由优先级、降低 TCP MSS、短时重启 BGP 会话或接口。
(2)回滚策略:任何配置修改必须有回滚命令与时间点(例如配置前备份、执行后 15 分钟内无改善则回滚)。
(3)升级与变更:涉及承运商设备或光路层改动需预约维护窗口并保留回滚光路/配置方案,记录变更单编号。
Q:traceroute 在 hop N 开始大量丢包,如何定位责任方?
A:先确定丢包是否持续且单向(用 mtr 分别从双方或第三方节点测试)。若本地到 hop N-1 无丢包,且 hop N 对应承运商 ASN,通常是承运商或对端网络问题。保存 traceroute/mtr 输出并用 tcpdump 抓包证明(如存在 ICMP 或 MPLS label 异常),然后将数据连同时间戳提交给承运商工单请求排查。
Q:CN2 路由被劫持或流量转向,紧急步骤是什么?
A:立即检查 BGP 路由:show ip bgp 203.x.x.x,看 AS_PATH 是否异常;如确认被劫持,优先将相关前缀从本端撤销或调整 local-preference;联系承运商和上游 ISP 要求撤回错误路由;同时启用 RPKI/ROA 或临时黑洞并保留 pcap/traceroute 证据供追踪和复核。
Q:向承运商报障时需要提供哪些诊断信息才能加快响应?
A:至少提供:影响前缀/目标 IP、业务时间段、出问题的本端出口 IP、traceroute/mtr(含时间戳)、tcpdump pcap(抓到异常的 TCP/ICMP 报文)、BGP 路由表快照(show ip bgp)、接口错误统计(ifconfig/ethtool 输出)、维护联系信息与可接受的维护窗口。把这些按时间线整理,承运商处理速度明显提升。