不稳定测试(Flaky Test)

定义

不稳定测试(Flaky Test)指在被测代码和测试代码都未改变的情况下,重复运行却时而通过、时而失败的测试。它是大规模自动化测试体系中最令人头疼的顽疾之一,Google、Meta 等公司都曾公开讨论其治理经验。

常见成因

• 异步与时序:用固定 sleep 等待异步结果,时间不够即失败
• 测试间依赖:共享数据库、全局状态或执行顺序假设,并行时互相干扰
• 并发缺陷:被测代码本身存在竞态,测试只是偶尔踩中
• 外部依赖:真实网络、第三方服务的波动
• 随机性与环境差异:未固定随机种子、时区、机器性能差异

危害

不稳定测试让「红灯」失去意义:开发者开始习惯性重跑、忽略失败,真正的回归缺陷随之漏网;CI 流水线被反复重试拖慢,信任一旦流失很难重建。

治理

常见手段包括:隔离检疫(标记 flaky 单独运行)、自动重跑并统计不稳定率、用显式等待替代 sleep、消除测试间共享状态、为随机性固定种子,并把修复 flaky 作为专项债务持续偿还。