列举了流式处理架构应用的基础，描述了他们的挑战，约束，和优势。深入了解了Spark Streaming 的内部工作原理包括如何Spark Core 适用，以及与Spark SQL 和 Spark MLlib对话， 通过TCP sockets 解释了流处理概念。使用Kafka最大限度地增加了流处理架构的弹性
先研究一下不断改变的动态环境带来的挑战，在列出流处理应用的先决条件（如，Twitter的TCP Sockets连接）之后， 结合Spark, Kafka 和 Flume 把数据放入一个低延迟，高吞吐量，可缩放的处理流水线。 要点如下: • 分析流式应用架构的挑战，约束和需求 • 利用Spark Streaming 从 TCP socket 中处理
Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号
