背景

  最近花了点时间研究了下分布式计算这一块的内容。领导给的第一个任务，就是学习下S4和GridGain。花了几天的时间把s4的源码看了下，把自己的理解和学习的内容做一个记录。 下一篇会是GridGain的分享

学习

s4是什么？

1.  s4的全称 ：  Simple Scalable Streaming System (简单的描述：分布式流计算系统)


2.  特点： 


  • distributed(分布式)
  • scalable(扩展性)
  • partially fault-toleran(部分容错性)
  • pluggable (可插拔)


3. 产生的原因： 


  • Yahoo发起，主要用于解决"cost-per-click“广告，通过实时计算预测用户对广告的可能的点击行为。
  • 不用hadoop的原因： hadoop主要解决batch处理，基于mapReduce对可控的数据的进行处理。而流计算是针对不可控的点击事件，对实时性有严格要求。

4.  适用的场景：



  • 业务允许部分容错性。 (s4没有严格的failover机制，运行节点突然crash时，会导致当前节点中的数据丢失。后续的请求会failover到其他的节点上)

 

S4的设计：

 


容器概念(http://docs.s4.io/manual/overview.html)

  1. PE : Processing Elements (处理节点)
    * emit one or more events which may be consumed by other PEs,
    * publish results, possibly to an external data store or consumer.
  2. Events :  message   (消息)
    * arbitrary Java Objects
    * passed between PEs. (send and receive)
  3. PEC : processing element container  (处理节点容器)
    * invokes the appropriate PEs in the appropriate order
  4. node : a Processing Endpoint  (机器节点)
    * a jvm instance
    * contains a PEC
  5. cluster: a group nodes  (节点集群)

说明：

  • 一个cluster包含多个node
  • 每个node包含一个PE Container
  • 每个PE Container 包含多个PE
  • 每个PE消费Events，生成新的Events并传递给下一个PE

 

总体结构图：


    1. PE Container/PE
2. EventListenter 
3. Dispatcher, EventEmitter
4. Communcation

     

     

     

    PE内部概念：(4个部分组成)

    • its functionality as defined by a PE class and associated configuration,
    • the named stream that it consumes,
    • the keyed attribute in those events, and
    • the value of the keyed attribute in events which it consumers

    PE类关系图：

    说明：

    • Persister　：　每个PE对应一个Persister，s4中每个PE对应于一个key的value结果。每个value结构都将作为PE的一个instance
    • FrequenceType :  每个PE会定期进行flush output输出，可选择的策略(定时，数量阀值)
    • Clock ： 每个PE的时间控制单元，有几种时间。(WallClock:基于系统时间处理 , EventClock：基于event事件时间控制)

    重点理解一下: Keyless PE概念和PE Prototype

    • PE在底层实现了会以多实例存在。存储的key即为其keyed对应的value值，内部有个lookupTable概念。
    • 针对Keyless PE，其对应的存储key即为"*"，所以每次通过lookupTable.get(value)返回的即为同一个节点，单例化
    • 针对prototype，其对应的存储就为其value，所以每次会根据当前keyed attribute确定返回的PE节点，基于这点可以实现PE节点数据的Join处理

     

    EventListener/EventEmitter：

     

     说明：　

    • 每个PE Container是一个EventProducer，使用CommLayerListener做为其事件处理器，处理EventWrapper反序列化。
    • 每个PE包含一个Dispatcher，Dispatcher里包含了一个EventEmitter处理对应的EventWrapper对象的发送
    • 底层实际通讯的类：　SenderProcess/ListenerProcess

     

    Dispatcher类关系图：


     

    说明：　

    • Partitioner，　每个dispatcher针对发送的目标cluster，会根据对应的key进行分区处理，路由到其中的node节点。(node节点的信息可以通过zookeeper进行动态管理)

     

    考虑集群node节点的管理(node的新增 or 修改)


    说明：

    • ProcessMonitor 监控当前运行node节点的状态，有static/dymaic两种维护状态
    • TaskManager  创建node节点，主要是设置lock文件，有static/dymaic两种维护状态

    运行(PE状态变化)

    S4缺点：

    S4产品还是一个半成品，整体代码结构组织和风格上还是比较乱的，选择使用时需谨慎。存在的一些问题：

    1. failover (运行node节点出现crash，当前node上的PE数据将无法实施failover)
    2. persist (目前支持方式过于简单，需要考虑网络持久化，类似于nfs，分布式文件系统等，配合failover机制)
    3. communication  (只支持udp协议，数据传输可靠性上)
    4. load balancer (根据系统负载进行智能LB，目前暂时未看到相关实现。系统运行分为两种模式static or dymaic模式, static不存在智能调节LB处理)
    5. deploy  (手工方式介入deploy，无法支持apps的zero deploy模式。系统分为cluster/node两概念，node对应于一计算节点实例,cluster为一组处理相同业务的计算节点)