一、培训对象
SRE工程师、系统架构师、运维负责人
负责系统稳定性、高可用架构设计的技术人员
计划引入混沌工程实践或韧性测试的团队
二、培训目标
理解SRE的核心方法论:SLI/SLO/Error Budget、容量规划、故障演练
能够设计合理的SLO并进行日常燃尽追踪
掌握混沌工程实验的设计原则与工具链(如Chaos Mesh、ChaosBlade)
通过主动注入故障提升系统的容错与自愈能力
三、培训内容介绍
一、SRE核心理念与角色边界
讲解SRE与传统运维的差异、可用性标准、Toil管理、值班轮转与应急处置原则。
二、SLI与SLO指标体系设计
针对不同服务类型(HTTP、消息队列、DB)设计关键可用性与性能指标,并定义合理的SLO目标值与测量窗口。
三、Error Budget与燃尽分析
计算错误预算,学习预算消耗过快时的应对策略(限流、暂停发布、人工介入),并通过燃尽图做风险预警。
四、容量规划与扩容策略
结合负载测试与历史监控数据,设计基于CPU、QPS、延迟的自动扩容/缩容策略,并测算冗余成本与可用性的平衡。
五、Toil自动化与SRE工程效能
识别高重复性的运维操作,设计自动化方案减少人工操作,提升SRE团队的工程化时间占比。
六、混沌工程原理与安全边界
讲解混沌工程与故障测试的区别、爆炸半径控制原则、终止条件与全链路观测要求。
七、混沌实验设计过程
学习假设驱动实验法:提出系统弱点假设、确定实验指标、设计注入范围、执行并分析结果。
八、混沌工程工具链部署与使用
部署Chaos Mesh或ChaosBlade,演示Pod kill、网络延迟、CPU负载、IO错误等常见故障注入。
九、应用层与中间件混沌实验
针对MySQL、Redis、Kafka等中间件,注入连接池满、主从切换、高延迟等故障,验证服务降级与重试逻辑。
十、基础设施层混沌实验(云环境)
模拟可用区故障、EIP闪断、磁盘满、节点关机等云资源异常,验证多可用区容灾与PDB策略。
十一、实验观测与分析报告
集成监控(Prometheus)与链路追踪(Jaeger),观察故障前后的指标变化,输出实验报告与改进项。
十二、混沌工程常态化与演练日历
建立每月/每季度的故障演练机制,将混沌实验纳入发布前置条件,并建立演练后复盘与知识库更新流程。