基于云服务创建实时运营数据分析服务
实时运营数据分析
- 使用数据计算服务、流数据总线、流计算产品,可对实时业务数据进行归档和分析,实现秒级响应,对接数据大屏或BI报表产品即刻呈现业务状态。
使用京东云的流数据总线、流计算以及数据大屏,对于其他云平台可做参考。
流数据总线是面向大数据场景下可扩展、分布式、高吞吐量的消息服务,提供低延迟的消息发布及订阅功能,帮助用户快速构建流式数据的分析和应用。
流计算是大数据场景下的实时数据处理与分析平台,支持用户以 SQL 方式编写数据处理作业, 降低流式数据开发门槛,帮助用户快速构建流处理应用。
京东云数据大屏是一款基于实时多层渲染技术的数据可视化工具,它能够提供对海量数据进行实时场景化展示,同时还提供数据分层展示功能,用户可以通过钻取、缩放等交互方式全面的掌握数据。
创建“流数据总线”主题,配置数据归档
1.登录京东云,点击云服务,选择“流数据总线”进入流数据总线控制台。
2.进入控制台后,进入流数据总线的“主题管理”页面,点击“新建主题”。
3.输入主题名称为“lab_rtd01”,可选择输入备注,其他根据业务需求选择或者为默认。
4.点击确认“lab_rtd01”主题创建完成,这时“归档”状态显示红叉。
5.单击创建的“lab_rtd01”主题,进入数据监控页面,“监控”这里就不做介绍了。然后点击“归档”进入归档页面。
6.点击“开启归档数据”按钮为ON,进行归档设置。
7.根据项目需求自行设置“归档触发条件”,可以选择默认。“归档目标设置”目前可选“对象存储”或“数据计算服务”,这里选择之前已经配置好的数据计算服务中的库表。“消息识别模式”分为JSON和分隔符,这里演示选择默认JSON。
8.接下来配置JSON格式的“消息样例”,
“{“province_id”:“1”,“province_name”:“北京”,“province_code”:“110000”,“province_sale”:“10003”}”
,消息样例一般是自动解析。也可以根据项目需求进行手动调整字段对照。
9.根据项目需求选择是否保存异常处理,这里选择不保存。点击确认完成归档配置。
10.配置成功后,返回“流数据总线”主题页面,可以看到“归档”标题打了勾。还可以根据需求,点击编辑修改主题属性,如将生命周期改为7天。