360互联网技术训练营第七期 -“遇见”PIKA 续集_pika

背景介绍

 

2017年11月26日下午13:30,北京798艺术工厂旁,奇虎360A座发布厅,Pika在这里迎来了自诞生以来的第一个社区沙龙。

什么是Pika

Pika 是360 DBA与基础架构团队联合开发的大容量类 Redis 存储,Pika 的出现并不是为了替代 Redis,而是 Redis 的场景补充。Pika 力求在完全兼容 Redis 协议、继承 Redis 便捷运维设计的前提下通过持久化存储的方式解决 Redis 在大容量场景下的问题,如恢复时间慢、主从同步代价高、单线程相对脆弱、承载数据较有限、内存成本高昂等。

 

目前,360内部几乎所有的业务线都可以看到Pika的身影,日承载访问量达1000亿,数据总容量达30T(压缩后),保守估计相当于100T Redis内存数据,为360公司节约大量服务器成本。在社区,已经有接近30家公司规模化部署。

github:https://github.com/Qihoo360/pika 

Pika技术交流群: 294254078

活动回顾

本次活动一经发布,就吸引了大量对Pika感兴趣的小伙伴们积极踊跃的报名。

 

然而非常不凑巧,活动当天气温好低,还刮着风。我们真的非常担心小伙伴们会因天气原因不能到场,然而大家的热情完全没有被天气打败,最终到场接近150人!远超我们原本只想搞一个“小小”沙龙的预期。

 

小编在这里再次感谢到场的各位,是你们的热情让寒冷的26日变得十分温暖!

 

在微信群里有不少小伙伴私下问小编:你们这次沙龙的主题为什么是“遇见”呢?

 

这是因为我们的Pika与其它流行数据库相比还十分的年轻甚至鲜为人知,另外还有一些Redis用户对Pika的使用场景存在误解。

 

所以我们能希望借此机会,在这次沙龙活动中能让大家对Pika能有一个全面客观的认识,带给大家一个最真实的Pika!

 

下面让我们一起来重温这次沙龙吧!

 

360互联网技术训练营第七期 -“遇见”PIKA 续集_pika_02

已布置完毕正在做最后调试的场地

360互联网技术训练营第七期 -“遇见”PIKA 续集_pika_03

主持MM在做最后的准备

 

主题一:Pika技术回顾展望

本次沙龙我们一共请到了四位嘉宾,第一位嘉宾是Pika的核心开发者宋昭,他来自360WEB平台部基础架构团队。

 

在分享中,宋昭同学从Pika立项到完成1.0符合上线要求版本的开发,从正式开源到最新的2.2.6版的不断迭代改进,从nemo引擎的不断突破到运维关怀命令的持续增加,从现在的问题到未来的展望做了全面的讲述。

 

在分享的最后宋昭同学发布了两个被不少社区用户所期待的功能:双主、多点分布式同步工具pika_hub,相信在开发组的努力及社区用户的努力吐槽鞭策下,Pika一定会原来越强大!

360互联网技术训练营第七期 -“遇见”PIKA 续集_pika_04宋老师很帅(shou)有没有

360互联网技术训练营第七期 -“遇见”PIKA 续集_pika_05

天很冷但大家很热情,小伙伴们听的十分投入,看起来不虚此行

 

360互联网技术训练营第七期 -“遇见”PIKA 续集_pika_06

积极提问的同学,谁说我们Pika没有女用户!

 

主题二:如何通过集群化Pika存储支持环信大规模即时通讯云平台

第二位分享嘉宾是来自环信科技的高级性能工程师张云乾同学,环信是一家全通讯能力云品牌服务商,云乾同学在分享中详细讲述了环信使用场景下对kv存储的需求、早期调研后选择使用pika的原因。
 
环信引入Pika后,在降低消息系统存储成本的同时提高了该系统的稳定性。而随着环信业务数据体积的不断增长,目前的Pika集群已经无法满足他们的需求,为此他们在pika之上添加codis以支持不断增长的数据量。

 

作为pika codis的核心支持者,他们先后通过sync、async、快速迁移的方式大幅度提高了codis下slot迁移的速度,更好的支持了codis下pika的扩缩容,另外张云乾透露他们会在近期尝试codis+pika+ceph这种新的使用方式,探索pika新的使用场景!

 

360互联网技术训练营第七期 -“遇见”PIKA 续集_pika_07云乾开始分享啦

360互联网技术训练营第七期 -“遇见”PIKA 续集_pika_08

不放过任何提问机会的观众

 

主题三:Pika在微博场景下的应用案例

我们的第三位嘉宾兰将州是位90后开发DBA,他来自总是有明星热门八卦爆出编辑不敢旅游不敢探亲不敢睡觉一不小心就会错过明星出轨新闻股价噌噌噌暴涨的国内最大最快速的信息获取网站:新浪微博。

 

小兰同学在分享中为大家展现了微博是如何引入Pika的,同时为大家展示了新浪微博最新的数据库总架构图,这种毫无保留干货PPT瞬间引来大家的集体拍照。在分享中小兰还爆料引入Pika后通过一系列的迁移、优化,将接近40TB的数据由Redis迁移至Pika,累计为新浪微博节约服务器接近300台!小编其实很早就知道微博是Pika的大用户,但这个数据也把小编镇住了,知道大没想到居然这么大!

 

在分享的最后,小兰同学讲解了大量微博在使用Pika中遇到的问题及对应的解决方案,同时通过这些问题对Pika团队进行了委婉的鞭(chao)策(feng),希望Pika开发团队不要辜负小兰的一片苦心,继续不断的协助用户解决问题,让大家用的安心,用的放心!

 

360互联网技术训练营第七期 -“遇见”PIKA 续集_pika_09

为什么这么年轻!!!!小编实在羡慕嫉妒不敢恨

360互联网技术训练营第七期 -“遇见”PIKA 续集_pika_10

微博数据库架构图一出就引来大量拍照,干货果然受欢迎

360互联网技术训练营第七期 -“遇见”PIKA 续集_pika_11

小兰同学吐槽Pika,表示微博踩过的坑大家可以不用踩啦!

 

主题四:千亿级访问量Pika在360内部实践

第四位嘉宾张恒来自360WEB平台部DBA团队,张恒既是Pika的运维,也是Pika的三大产品经理之一,在Pika的版本迭代中帮助开发组抓出了大量BUG,甚至最终获得了BUG恒的美名一度传为佳话!

 

在分享中,张恒展示了Pika在360的使用情况,在他的PPT中我们可以清楚的看到:虽然2017年360的Redis/Pika实例增长巨大(达到了4000个实例),但服务器数量增长确十分微弱,保守估算,在2017年Pika为360节约服务器成本约800万元。张恒指出这得益于Pika的磁盘落地式非内存存储方案及高压缩比,这两个特性使Pika能够利用大量Redis服务器的闲置磁盘资源并不会对服务器上原有的Redis造成任何不利影响。

 

在议题的最后,张恒结合360内部Pika使用经验,对Pika的适用、不适用场景进行了举例,希望这些实际使用经验能帮助大家加深对Pika的认知,消除误解,更好的在业务中使用Pika!

360互联网技术训练营第七期 -“遇见”PIKA 续集_pika_12

张恒站在运维的角度介绍Pika的发展历程

360互联网技术训练营第七期 -“遇见”PIKA 续集_pika_13 介绍360内部的Pika集群结构以及未来的发展方向

360互联网技术训练营第七期 -“遇见”PIKA 续集_pika_14

举例说明Pika的适用/不适用场景,顺手介绍了Pika的各种迁移工具

 

本次沙龙不光干货多多,奖品也多多哦!

360互联网技术训练营第七期 -“遇见”PIKA 续集_pika_15

提问就送老周新书!

360互联网技术训练营第七期 -“遇见”PIKA 续集_pika_16一大堆90cm*40cm巨型Pika吐槽主题定制鼠标垫!

360互联网技术训练营第七期 -“遇见”PIKA 续集_pika_17排队领奖的幸运观众们

圆满结束

360技术训练营第七期---“遇见”PIKA,圆满结束。但我们对于pika的热情永远不会结束,360技术训练营也会在不久的将来迎来下一期的分享。

讲师ppt下载地址:

https://eyun.360.cn/surl_ywspCbYbYiX (提取码:b319)

 

现场分享视频:

http://www.itdks.com/eventlist/detail/1693

360互联网技术训练营第七期 -“遇见”PIKA 续集_pika_18