kafka结合spark-streaming的用法及说明之前博客有些,这里就不赘述了。这篇文章说下他们结合使用的两种连接方式。(AWL与直连)先看一张图:这是kafka与streaming结合的基本方式,如图spark集群中的 worker节点中 exeutor线程里的 receiver接口会一直消费kafka中的数据,那么问题来了,假如我们定义5秒消费一次,如果spark集群定义了每个worke
转载 2024-01-02 13:26:54
23阅读