告警疲劳

定义

告警疲劳(Alert Fatigue)指监控系统产生的告警数量过多、噪音比例过高,导致值班人员对告警麻木、响应变慢甚至直接忽略,最终漏掉真正重要故障的现象。该概念源自医疗领域的警报疲劳研究,后成为 SRE 领域的核心议题。

成因

常见原因包括:阈值告警对波动过度敏感;同一故障触发大量关联告警(告警风暴);告警缺乏可操作性,收到后无事可做;对'可能有问题'而非'用户受影响'的信号告警;历史告警从不清理。

治理

Google SRE 主张告警应基于症状而非原因,且每条打给人的告警都必须紧急、可操作;工程手段包括基于 SLO 燃烧率(burn rate)告警、分组与抑制(如 Alertmanager)、告警分级(紧急打电话、次要进工单)、定期评审告警的触发与响应记录并删除无效项。

影响

告警疲劳直接侵蚀事件响应能力,被视为衡量监控体系健康度的重要反向指标。