故障注入

定义

故障注入(Fault Injection)是一种可靠性测试技术:在受控条件下主动向系统引入故障——网络延迟与丢包、依赖服务返回错误、进程被杀、磁盘写满、时钟漂移等——观察系统的容错、降级、重试和恢复机制是否按设计工作。

原理

分布式系统的容错代码(超时、熔断、降级、副本切换)平时很少被真实执行,往往在真正故障来临时才暴露缺陷。与其等待故障随机发生,不如主动制造故障来验证,这一思想也是混沌工程的基础;混沌工程可视为在生产环境按实验方法论组织的系统化故障注入。

实现层次

• 硬件/环境层:断电、拔线、CPU 与内存压力
• 系统层:利用 tc 模拟网络异常、kill 进程、填满磁盘
• 应用层:在代码或服务网格(如 Istio)中注入错误响应与延迟

应用

常用于验证高可用架构的主备切换、微服务熔断降级策略,以及安全领域对硬件密码设备的故障攻击研究。