kafka 的一个可视化客户端 g kafka数据可视化_kafka 可视化工具


最近在做一些关于GeoMesa 的研究,发现一篇使用Kafka 和GeoMesa对实时流数据进行可视化的文章,希望通过翻译这篇文章(主要还是google翻译的功劳),对从事实时数据可视化方面研究的朋友们提供一些新的想法和思路。

实时位置流数据的可视化,可以展示目标点的实时位置分布、热力、轨迹等。它能够在即时快送、物流、快递、共享出行管理、政府公共交通监控,如公交、地铁、出租汽车等场景发挥作用。


以下为数据正文:

众所周知GeoMesa用例通常以其与大型,可扩展的面向列的数据库管理器(如Accumulo,HBase和Google Cloud Bigtable)协同工作为中心。这些系统以存储大量数据的能力而闻名,GeoMesa为其提供了一系列地理空间功能,使您可以使用数PB的数据执行分析和可视化。

如今,许多领域中可用的一些消防软件数据提供了如此规模的数据,虽然保存它们并不值得,但在数据到达时分析这些数据仍然可以提供有价值的见解。因此“流处理”已成为处理许多类应用程序的数据的常用方法。最初在LinkedIn开发的开源Apache Kafka项目是一个消息排队系统,在处理流数据方面已经变得非常流行,它在LinkedIn,Netflix,PayPal和Uber的系统中发挥着作用。

GeoMesa也可以使用Kafka作为数据源。将GeoMesa与CCRI所基于浏览器的地理可视化工具Stealth(下图所示工具)一起使用时,这一点尤为出色。例如,如果您的系统正在读取有关车队的位置数据,GeoMesa可以从Kafka读取数据,并以亚秒级延迟渲染Stealth中的数千个动画点,从而近乎实时地查看车辆的位置。

我们最近了解到爱尔兰铁路公司获取列车状态的API,因此在圣帕特里克节,我们将它与GeoMesa和Kafka一起用于显示他们在昨天晚上高峰时段往返都柏林的列车位置。以下显示了此运动的重复循环:


kafka 的一个可视化客户端 g kafka数据可视化_kafka 的一个可视化客户端 g_02


(正如你可能想象的那样,上面的动画加速了;那些列车并没有那么快就在轨道上飞奔)除了列车的纬度和经度之外,API还提供了额外的数据,例如每列火车的代码(如下所示)作为伴随上面绿点的红色数字),旅行方向,公共信息和状态,GeoMesa也通过Stealth提供此信息。下面,在放大显示都柏林地区周边细节的放大视图中,我们看到用户检查正在运行的(“R”)列车的状态,然后是终止(“T”)列车,然后输入CQL过滤器查询这样地图只显示正在运行的列车:


kafka 的一个可视化客户端 g kafka数据可视化_kafka可视化工具_03


通过Kafka传输的数据也可以存储在GeoMesa支持的大型数据存储之一中。我们保存了有关今天上午在爱尔兰,英国和西北欧的首批航班进入Accumulo的数据,下面的视频显示了如何播放这些数据。它还显示了如何操纵Stealth的交互式滑块让您控制重放的速度和每架飞机显示的最近点数,使显示的“尾部”更长或更短,以便更容易看到常见的飞行模式或当前每个飞机的位置。


kafka 的一个可视化客户端 g kafka数据可视化_kafka可视化工具_04


直接来自Kafka的数据也可以进行这种倒带和回放,因为GeoMesa提供了一个Kafka消息消费者,允许您“回放”地图周围运动的动画。(有关生产者和消费者角色的更多信息,请参阅Kafka简介。)此外,Irish Rail API每30秒仅提供几十个数据点,而GeoMesa每秒可从Kafka检索数千个数据点并将其呈现在Stealth上。随着越来越多的物联网设备包含地理空间坐标及其传输的数据,这为您可以使用GeoMesa执行的各种可视化和分析创造了新的可能性。