基于云服务创建实时运营数据分析服务

实时运营数据分析
  • 使用数据计算服务、流数据总线、流计算产品,可对实时业务数据进行归档和分析,实现秒级响应,对接数据大屏或BI报表产品即刻呈现业务状态。

数据分析服务器参数 数据分析云服务器_数据

使用京东云的流数据总线、流计算以及数据大屏,对于其他云平台可做参考。

流数据总线是面向大数据场景下可扩展、分布式、高吞吐量的消息服务,提供低延迟的消息发布及订阅功能,帮助用户快速构建流式数据的分析和应用。

流计算是大数据场景下的实时数据处理与分析平台,支持用户以 SQL 方式编写数据处理作业, 降低流式数据开发门槛,帮助用户快速构建流处理应用。

京东云数据大屏是一款基于实时多层渲染技术的数据可视化工具,它能够提供对海量数据进行实时场景化展示,同时还提供数据分层展示功能,用户可以通过钻取、缩放等交互方式全面的掌握数据。

创建“流数据总线”主题,配置数据归档

1.登录京东云,点击云服务,选择“流数据总线”进入流数据总线控制台。

数据分析服务器参数 数据分析云服务器_流计算_02

2.进入控制台后,进入流数据总线的“主题管理”页面,点击“新建主题”。

数据分析服务器参数 数据分析云服务器_数据_03

3.输入主题名称为“lab_rtd01”,可选择输入备注,其他根据业务需求选择或者为默认。

数据分析服务器参数 数据分析云服务器_流计算_04

4.点击确认“lab_rtd01”主题创建完成,这时“归档”状态显示红叉。

数据分析服务器参数 数据分析云服务器_数据分析服务器参数_05


5.单击创建的“lab_rtd01”主题,进入数据监控页面,“监控”这里就不做介绍了。然后点击“归档”进入归档页面。

数据分析服务器参数 数据分析云服务器_数据总线_06


6.点击“开启归档数据”按钮为ON,进行归档设置。

数据分析服务器参数 数据分析云服务器_数据分析服务器参数_07

7.根据项目需求自行设置“归档触发条件”,可以选择默认。“归档目标设置”目前可选“对象存储”或“数据计算服务”,这里选择之前已经配置好的数据计算服务中的库表。“消息识别模式”分为JSON和分隔符,这里演示选择默认JSON。

数据分析服务器参数 数据分析云服务器_数据_08


8.接下来配置JSON格式的“消息样例”,

“{“province_id”:“1”,“province_name”:“北京”,“province_code”:“110000”,“province_sale”:“10003”}”

,消息样例一般是自动解析。也可以根据项目需求进行手动调整字段对照。

数据分析服务器参数 数据分析云服务器_实时运营数据分析_09

9.根据项目需求选择是否保存异常处理,这里选择不保存。点击确认完成归档配置。

数据分析服务器参数 数据分析云服务器_实时运营数据分析_10


10.配置成功后,返回“流数据总线”主题页面,可以看到“归档”标题打了勾。还可以根据需求,点击编辑修改主题属性,如将生命周期改为7天。

数据分析服务器参数 数据分析云服务器_流计算_11