TakinTalks稳定性社区的博客_Takin应用,全链路压测,安全生产

去哪儿是如何做到大规模故障演练的？

# 一分钟精华速览 #混沌工程作为一种提高技术架构弹性能力和容错能力的复杂技术手段，近年来讨论声音不断，相比在分布式系统上进行随机的故障注入实验，基于混沌工程的大规模自动化故障演练，不仅能将“作战演习”常态化，还能通过提高覆盖面而获得更高的产出价值，帮助更全面地完善故障应急预案和处理体系。此前 TakinTalks 分享了去哪儿在过去 3 年里 4 个阶段的混沌工程能力建设（破坏系统是为了更稳

混沌工程

故障演练

自动化演练

置顶原创点赞0 阅读10000+ 收藏0 评论0 2022-12-14

破坏系统是为了更稳定？混沌工程在去哪儿的 4 个阶段实践

# 一分钟精华速览 #混沌工程是在分布式系统上进行实验，在整个系统中随机位置通过工具引发故障，从而提高系统健壮性以及人员的响应效率，建立对系统抵御生产环境中失控条件的能力以及信心的手段。虽然混沌工程已经发展了十余年，但对大部分公司和研发团队，它仍是一个比较陌生的领域。本文总结了去哪儿 2019 年至今，从零开始建设混沌工程平台的 4 个阶段，以及各阶段的落地成果，整体建设思路和落地路线极具参考性。

基础设施

中间件

去哪儿网

混沌工程

故障演练

置顶原创点赞0 阅读10000+ 收藏0 评论0 2022-12-14

「Takin开源特训营」第一期来啦！手把手教你搞定全链路压测！

开源课程，带你从0-1学会全链路压测，工具开源、专业讲师、众多好礼等你来！

压力测试

性能优化

系统安全

压测

链路

原创点赞0 阅读1903 收藏0 评论0 14 天前

B站713故障后的多活容灾建设｜TakinTalks大咖分享

713故障后B站是如何进行多活容灾建设的，这篇文章告诉你

系统架构

数据库

性能优化

高可用

限流

原创点赞0 阅读4906 收藏0 评论0 29 天前

「TakinTalks」_ 故障频繁发生，如何做好系统稳定性？

活动时间： 2022年7月16日，14:00-17:00活动地点：线上直播（infoQ视频号线上直播、B站直播间）故障专题 “程序员不能被同一原因的故障坑两次”——程序员的自我修养移动互联网时代，业务场景多元、玩法多样瞬时流量高，系统的复杂度也越来越高。一次故障就是一次考试。不管你是研发、测试、运维，或其他“工种”，只要你身处IT行业，「故障」怕都是大家避之唯恐不及却无法绕开的一个

云原生

运维

性能优化

安全

架构师

原创点赞0 阅读5046 收藏0 评论0 2022-12-30

哈啰出行高质量故障复盘法：“3+5+3”（附模板）

在保障超5.3亿注册用户体验和系统稳定性过程中，是如何通过系统的、

阿里云

故障处理

监控告警

链路

原创点赞0 阅读8260 收藏0 评论0 2022-12-25

哈啰出行高质量故障复盘法：“3+5+3”（附模板）

# 一分钟精华速览 #故障复盘指的是及时把过去发生的错误，最大程度转化为未来可以规避的办法，其核心是不断减少失败因子繁衍的温床，将它们牢牢地掌控在不至于引发危机的范围之中。作为国民基础设施的哈啰出行，在保障超 5.3 亿注册用户体验和系统稳定性过程中，是如何通过系统的、有策略的总结复盘来避免故障重复发生的？作者介绍哈啰技术风险负责人——孟闯十年互联网行业研发经验，2015 年加入哈啰出

故障处理

监控告警

链路

转载点赞0 阅读10000+ 收藏0 评论0 2022-12-22

去哪儿是如何做到大规模故障演练的？｜TakinTalks

# 一分钟精华速览 #混沌工程作为一种提高技术架构弹性能力和容错能力的复杂技术手段，近年来讨论声音不断，相比在分布式系统上进行随机的故障注入实验，基于混沌工程的大规模自动化故障演练，不仅能将“作战演习”常态化，还能通过提高覆盖面而获得更高的产出价值，帮助更全面地完善故障应急预案和处理体系。此前TakinTalks分享了去哪儿在过去3年里4个阶段的混沌工程

分布式

数据

链路

压测

原创点赞0 阅读10000+ 收藏0 评论0 2022-12-18

团队新人多，稳定性经验不足，研发质量怎么保障？｜TakinTalks论道

一分钟精华速览在研发和稳定性保障过程中，人与设备、程序、组织的交互是一个复杂的过程，虽然人们极少会恶意犯错，但由于受特定情景下的实际条件影响，人为失误也时有发生，那么，如何尽可能减少这些失误的发生？如何保障研发质量和系统稳定？「TakinTalks 论道系列」12 月刊第三期，即将发布，敬请期待！当我们把人有可能犯错的地方，通过代码、工具或者数据实现强有效的管控，就能做到不让人为因素随意破坏系统的

技术管理

稳定性团队

稳定性治理

团队管理

原创点赞0 阅读10000+ 收藏0 评论0 2022-12-15

开发任务都完不成，哪有空搞稳定性？先看看这 13 条建议｜TakinTalks 论道

一分钟精华速览本篇内容来源于 TakinTalks 稳定性社区「年度专家小会·杭州站」，感谢阿里、腾讯云、飞书、网易、华为、浙江移动、极氪、酷家乐、大搜车、二维火、亲宝宝等等企业 20 余位稳定性专家的积极贡献，为我们多角度呈现了不同业务、不同规模、不同团队下的优秀管理和实践经验。「TakinTalks 论道系列」12 月刊第二期，即将发布，敬请期待！作为技术管理者，在从技术角色到管理角色的转变中

故障处理

微服务

原创点赞0 阅读10000+ 收藏0 评论0 2022-12-14

去哪儿的常态化容量保障是怎么做的

平台从 2019 年的 1.7 倍流量即不可用，到 2022 年的 4 倍主要流量 0 故障，在最近两三年的时间里，去哪儿的容量保障核心做了哪些工作？我们来一探究竟。

运维

压力测试

限流

缓存

数据

原创点赞0 阅读10000+ 收藏0 评论0 2022-11-14

故障复盘究竟怎么做？美图SRE结合10年经验做了三大总结（附模板）

美图崇尚的故障文化是 “拥抱故障，卓越运维”，倡导的基准是 No-Blame，即「不指责，重改进」。今年 9 月 TakinTalks 社区曾经分享过美图的三段式故障治理方法（美图 SRE：一次线上大事故，我悟出了故障治理的 3 步 9 招），这次重点讲讲故障治理中的最后一个重要环节 —— 故障后的复盘，在这个过程里可以总结吸取经验教训并改进，这样才能让整个系统的稳定性得到实质性提升。&

美图

运维

基础设施

原创点赞0 阅读10000+ 收藏0 评论0 2022-10-14

如何避免这10类常见故障？B站数据库架构设计做了这5步……

今年3月GitHub在一周内出现了多次服务不可用的情况，每起事件持续时长在 2-5 小时，据有媒体统计，GitHub在一周中多次中断影响的开发者数量高达 7300 万。事后GitHub 高级工程副总裁 Keith Ballinger 发文表示，「我知道这会影响许多客户的生产力，我们也非常重视这一点。过去几周发生的宕机事件根本原因是我们的‘MySQL1’集群中的资源争夺，在负载高峰期，影响了 Git

数据库

缓存

数据

原创点赞0 阅读10000+ 收藏0 评论0 2022-09-22

系统故障工程师居然可以不背锅？看看几家大厂是怎么做到的！（内附故障复盘模板）

B站、浙江移动、美图、奈雪的茶等专家倾情分享～

运维

技术问题

解决方案

数据

原创点赞0 阅读10000+ 收藏0 评论0 2022-09-22

故障复盘后的告警如何加出效果？浙江移动等老司机总结了 6 条注意事项

复盘后告警该不该加，看这里给你一些启发！

大数据

数据库

运维

服务质量

故障处理

原创点赞0 阅读10000+ 收藏0 评论0 2022-09-22

监控告警怎么搭建比较合理？B站SRE实践总结了4大关键步骤

监控告警的最佳状态就是实现“一五十”，所谓“一五十”，就是指我们能一分钟发现

运维

java

性能优化

监控告警

数据

原创点赞0 阅读10000+ 收藏0 评论0 2022-08-27

系统故障工程师居然可以不背锅？看看几家大厂是怎么做到的！（内附故障复盘模板）

浙江移动、B站、美图、奈雪的茶等专家经验分享！快来围观！

SRE

故障定责

故障复盘

原创精选点赞0 阅读10000+ 收藏1 评论0 #yyds干货盘点# 2022-08-26

监控告警怎么搭建比较合理？B站SRE实践总结了4大关键步骤

是不是经常会遇到，有人在群里 @你，告诉你你的系统出故障了，你在犹豫是不是真的出故障的同时还得慌乱地去查找？老板问你系统现在到底健康与否，能不能快速给个判断，你却不敢断言？业务方说你的系统有问题，但你认为没问题，又无法自证？这一切都源自于你的系统没有做好监控和告警：没有监控或者没有一个好的监控，导致你无法快速判断系统是不是健康的；没有告警或者没有一个精准的告警，当系统出问题时不能及时通知到你，并且

监控告警

数据

日志监控

稳定性保障

SRE

原创精选点赞0 阅读10000+ 收藏0 评论0 2022-08-23

故障复盘后的告警如何加出效果？浙江移动等老司机总结了 6 条注意事项

# 一分钟精华速览 #某企业内部故障统计数据显示85%的异常是靠用户上报发现而非监控发现。针对一个故障场景增加一个告警，往往需要增加数百上千个监控项，这样加下去，真的能提升业务异常的监控效率吗？到底告警要怎样加才是有效的？TakinTalks社区的5位专家，分别给出了这些注意事项，总结如下：1.业务视角的告警比其他告警更重要，是评判告警该不该加的重要标准。2.告警要紧贴业务，而业务分核心与非核心，

服务质量

数据库

监控告警

sre

原创点赞0 阅读10000+ 收藏0 评论0 2022-08-16

10年稳定性保障经验总结，故障复盘要回答哪三大关键问题？｜TakinTalks大咖分享

# 一分钟精华速览 # 怎么样做好故障复盘？是否只要把事故要定责到人就能解决问题？这是很多企业/团队都要面对的问题，有着超10年系统稳定性保障经验的李道兵老师给我们分享了他的观点：故障复盘的三大关键问题：1. 怎么有效降低故障的影响？2. 事故处理的流程和原则有哪些？3. 相关管理制度怎么设置比较合理？故障复盘的四大注意项：1.事故复盘不是给人定责的，要有系统思维将优化项实际落地才能推动

架构师

数据

运维

SRE

原创点赞0 阅读10000+ 收藏0 评论0 2022-08-01

B 站 713 事故后的多活容灾建设｜TakinTalks 大咖分享

高可用

数据

限流

多活容灾

系统稳定性

原创精选点赞0 阅读10000+ 收藏1 评论0 2022-07-27

「Takin开源特训营」第一期来啦！手把手教你搞定全链路压测！

618 又来了，今年的年中大考，你是不是又遇到了稳定性问题？每年这个时候，总有企业因为大促激增的流量导致系统稳定性出现问题，数十倍的流量涌入系统，总有一些企业因为没有做好事前筹备，最终影响用户的实际使用体验。数列聚焦稳定性领域多年，已帮助网上国网、顺丰、T3 出现等 50+企业建立稳定性保障体系，为了帮助更多企业，去年 6 月我们开源了首款生产环境全链路压测平台 Takin。在这

开源工具

生产压测

性能测试

takin

原创点赞0 阅读10000+ 收藏0 评论0 2022-06-15

畅聊安全生产，对话B站、唯品会一线专家｜TakinTalks大咖对谈

“安全生产”是业界新兴起的一种概念，来源于传统行业，加强安全生产就是为了防止和减少生产安全事故，保障人民群众生命和财产安全，促进经济社会持续健康发展。随着互联网发展，数字经济在经济总量中占比超30%，在以IT系统为主要支撑的新兴互联网企业中，各类系统故障虽不会造成人员伤害设薄弱；2.技

安全

big data

大数据

压测

链路

原创点赞0 阅读10000+ 收藏0 评论0 2022-06-03

畅聊安全生产，对话B站、唯品会一线专家！｜TakinTalks大咖对谈

“安全生产”是业界新兴起的一种概念，来源于传统行业，加强安全生产就是为了防止和减少生产安全事故，保障人民群众生命和财产安全，促进经济社会持续健康发展。随着互联网发展，数字经济在经济总量中占比超 30%，在以 IT 系统为主要支撑的新兴互联网企业中，各类系统故障虽不会造成人员伤害，但给企业带来的损失却不容小觑，除了直接的经济损失还会造成用户的大量流失，严重损害企业形象。正因如此，数字化业务也需要“

链路

生产环境

安全生产

混沌工程

故障演练

原创精选点赞0 阅读10000+ 收藏0 评论0 2022-05-30

B站S11破亿直播在线稳定性保障秘籍——演讲实录

《英雄联盟》S11全球总决赛·决赛中国战队夺冠，赛事直播盛况空前，观赛人数破亿。B站作为英雄联盟2021全球总决赛直播独家版权方不仅在整个比赛过程中保证了直播整体总体运行的平稳，还抗住了超预期的流量。如此大型的直播活动，B站究竟是如何保障系统稳定的呢？

big data

java

微服务

压力测试

分布式

原创点赞0 阅读10000+ 收藏0 评论0 2022-05-19

B 站 S11 破亿直播在线稳定性保障秘籍 ——TakinTalks 演讲实录

《英雄联盟》S11全球总决赛·决赛中国战队夺冠，赛事直播盛况空前，观赛人数破亿。B站作为英雄联盟2021全球总决赛直播独家版权方不仅在整个比赛过程中保证了直播整体总体运行的平稳，还抗住了超预期的流量。如此大型的直播活动，B站究竟是如何保障系统稳定的呢？以下内容整理自TakinTalks·live直播活动中B站吕帆老师的精彩分享,若想查看精彩回放戳?

压测

mysql

稳定性保障

活动保障

混沌工程

原创点赞0 阅读10000+ 收藏0 评论0 2022-05-18

受信通院之邀出席全球信息系统稳定性峰会，数列技术实力再获认可

4月27日，中国信通院主办的首届“全球信息系统稳定性峰会”在北京隆重召开，数列科技作为《信息系统稳定性保障能力建设指南》的主要参编单位受邀出席，并发表了主题演讲。与中国工程院院士廖湘科、网信办副局长张望、中国通信标准化协会副理事长代晓慧、信通院副院长魏亮、信通院云大所所长何宝宏等领导，中国铁路12306、京东、支付

压力测试

性能优化

压测

信息系统

链路

原创点赞0 阅读10000+ 收藏0 评论0 2022-05-03

无侵入式容器化探针接入，节约70%接入成本

Takin一键部署教程：https://news.shulie.io/?p=3661在使用Takin时，绕不开接入探针的问题。目前大多数的企业系统应用均部署在k8s平台容器，通过镜像部署方式来接入探针是比较简单的方式，但这种方式也有自己的缺点：每次探针升级（bug或者新功能）都要重做基础镜像基础镜像需要经过公司内部的

压力测试

测试工程师

运维

java

分布式

原创点赞0 阅读10000+ 收藏0 评论0 2022-04-30

信通院牵头数列科技参与主编的《信息系统稳定性保障能力建设指南》正式发布

中国信息通信研究院分布式系统稳定性实验室正式发布了《信息系统稳定性保障能力建设指南》(下称《指南》)。数列科技应邀作为主要编写单位，深度参与了《指南》的编写制定；同时，数列提供稳定性保障服务的国家电网、浙江大学等，也被征集收录至系统稳定性最佳实践案例中。随着各领域数字化转型的推进，用户的高频访问成为

性能优化

信息系统

基础设施

最佳实践

原创点赞0 阅读10000+ 收藏0 评论0 2022-04-30

受信通院之邀出席全球信息系统稳定性峰会，数列技术实力再获认可

4月27日，中国信通院主办的首届“全球信息系统稳定性峰会”在北京隆重召开，数列科技作为《信息系统稳定性保障能力建设指南》的主要参编单位受邀出席，并发表了主题演讲。与中国工程院院士廖湘科、网信办副局长张望、中国通信标准化协会副理事长代晓慧、信通院副院长魏亮、信通院云大所所长何宝宏等领导，中国铁路12306、京东、支付宝、浙江移动等知名企业专家一起，共同探讨信息系统稳定性建设的现在与未来。作为全球第一

压测

信息系统

链路

原创点赞0 阅读10000+ 收藏0 评论0 2022-04-28

官方博客	意见反馈	了解我们	全部文章
在线客服	网站地图	热门标签

开源基础软件社区	51CTO学堂
51CTO	汽车开发者社区

51CTO博客

数列科技