对待事故的态度（摘自rrc-wiki）

转载

文章标签 事故态度 文章分类 代码人生

1. 通报 && 通报 && 通报

先通报给Leader；然后Leader视需要，通报给相关业务方

为什么要先通报？第一，如果是一个严重的问题，Leader可能能帮你调集更多的资源、人手帮你解决这个问题；

其次，如果对我们业务造成影响，我们可能需要去通知、安抚我们对口的业务方（比如SEM投放，比如电话销售团队、评估师、销售等等），尽量减少损失、给他们我们修复的预期。

2. 先解决问题；先解决问题；先解决问题

我们是一个团队。“团队”和“团伙”的区别，在于凝聚力、在于信任、协作、补位，去完成艰巨的任务。

当出问题的时候，第一时间，我们不要去追究谁的责任，也不要因为这个模块/业务不是我负责就坐视不理。线上服务，是我们每一个人的事。

“谁都不是一座岛屿,自成一体；每个人都是那广袤大陆的一部分.如果海浪冲刷掉一个土块,欧洲就少了一点；如果一个海角、如果你朋友或你自己的庄园被冲掉,也是如此.任何人的死亡都使我受到损失,因为我包孕在人类之中.所以别去打听丧钟为谁而鸣,它为你敲响” —— 海明威引用过的一首诗

我们的成就，我们的损失，首先都是作为“团队”得到的，而不是“个人”；每一个流量、每一个线索、每一个数据错误，损失的都是你的一部分。所以，当出问题的时候，请不要问是谁的责任、不要责怪战友，请挺身而出、作为团队的一份子积极面对，先解决问题。

3. 既往不咎 && 纵情向前

最近看写谷歌的《如何定义团队》，谷歌有一个“百万美元俱乐部”，会员不是百万富翁，都是给谷歌百万美元以上损失的人。百万！美元！那又怎样？他们也没有被谷歌开除。

世界上只有一种人不犯错，那就是不做事的人。No 上线， No bugs。做事越多的人，出错的可能性越大。

我们是一家创业公司，我们的业务在飞速发展，我们线上产品技术以超音速在迭代上线，我们在与时间赛跑，我们要短期内做出卓尔不凡的成就。那我们一定会犯错。

创业，一定对错误宽容。

真正需要思考的，是我们如何避免类似的错误；而且作为一个团队，我们后续如何系统的、有组织的去避免类似的问题。不光是我们自己，也包括团队的其他人、后来者，如何也能够系统性的避免类似问题。

case study的要义，并不是，“某人”出了“事故”，“某人”需要“反省”；case study的要义是，线上的损失，即是我们每一个人的损失，是跟你、跟我、跟每一个人有关的。每个人需从自己的所在出发，看是否有系统的手段，规避该问题、乃至规避类似问题。

从工具、系统、流程、意识、技术，各个层面，系统性的去解决类似问题。做一个“学习型组织”，能看到组织的学习、进化，作为一个整体去避免类似问题。

这是我们痛定思痛以后，需要深入去思考的。

我们对错误宽容，但是请不要重复错误。核心，是如何避免再出现类似问题。

四、事故处理时间提醒表

关键时间点	提醒事项
5分钟内	向上通报
15分钟内	以电话或钉钉形式通知主管及可能受影响的产品线。
当天	发出事故报告（包括精确到分钟的时间线，精确的PV/UV、线索、金钱等损失）
7个自然日内	召集case study，完成case study报告

五、产品线事故级别定义

- 服务级别： 各服务所属的服务级别，依据RD、PM、OP共同签署的SLA确定。
- 事故级别定义： 以服务级别和影响程度来定义事故级别。
- 定级是每次事故后，第三方来定。损失一般指经济损失，影响是，多少人不能使用。投诉量是体现使用者对事故的忍耐程度

一级服务事故级别	一般事故	严重事故	重大事故	特大事故
对外完全停止服务时间	1-3分钟	3－10分钟	10－30分钟	30分钟以上
服务部分故障导致的流量损失占单日总流量比	0.15%-0.45%	0.45%-1.5%	1.5%-4.5%	4.5%以上
服务功能异常或严重影响用户体验，受影响访问量占单日总流量比	3%-9%	9%-30%	30%-90%	90%以上
更新延迟或数据错误	延迟1-2小时	延迟2-12小时	延迟超过12小时	更新延迟超过12小时且无法恢复
收入损失	0.2% ~ 0.5%	0.5% ~ 1%	1% ~ 3%	>3%

二级服务事故级别	一般事故	严重事故	重大事故	特大事故
对外完全停止服务时间	5-10分钟	10－30分钟	30－60分钟	60分钟以上
服务部分故障导致的流量损失占单日总流量比	0.75%-1.5%	1.5%-4.5%	4.5%-9%	9%以上
服务功能异常或严重影响用户体验，受影响访问量占单日总流量比	15%-30%	30%-90%	90%-180%	180%以上
更新延迟或数据错误	延迟1-2小时	延迟2-12小时	延迟超过12小时	更新延迟超过12小时且无法恢复
收入损失	0.2% ~ 0.5%	0.5% ~ 1%	1% ~ 3%	>3%

三级服务事故级别	一般事故	严重事故	重大事故	特大事故
对外完全停止服务时间	10-30分钟	30－60分钟	60分钟以上	不适用
服务部分故障导致的流量损失占单日总流量比	1.5%-4.5%	4.5%-9%	9%以上	不适用
服务功能异常或严重影响用户体验，受影响访问量占单日总流量比	30%-90%	90%-180%	180%以上	不适用
更新延迟或数据错误	延迟6-12小时	延迟12-24小时	更新延迟超过24小时且无法恢复	不适用
收入损失	0.2% ~ 0.5%	0.5% ~ 1%	1% ~ 3%	>3%