夜深了,,,Paypal黑帮【PayPal Mafia】的传奇估计大家都听说过。过来瞧瞧电子支付的龙头老大Paypal如何使用Spark来解决他们的他们的大数据问题。A 1600 Node Hadoop Cluster with 230TB of Memory, 78PB of Storage Running 50,000 Jobs Per day。

              from smilegator

祝威廉点评:

看PPT, PayPal是把Spark当成一个纯粹的计算引擎,提供预处理(类似麒麟里建Cube的流程),直接面向报表服务是通过ES/Druid。

另外文章里针对较大规模节点的Spark集群提供了很多自己实践出来的技巧,这些其实是非常有价值的东西,大家不妨放慢点速度,一点一点体会。给我印象比较深的包括HBase写入,SQL Join的优化等,甚至还有代码最佳风格实践,比如行为驱动开发风格,真干货哦。

原文链接就是PPT的下载链接:

​https://www.slidestalk.com/s/Spark_At_Paypal31166​

下面是几张样例PPT:

【深夜Spark】Spark At Paypal_Memory

【深夜Spark】Spark At Paypal_Memory_02

【深夜Spark】Spark At Paypal_Hadoop_03

【深夜Spark】Spark At Paypal_Hadoop_04