最重要两个函数是 excute() 和declareOutputFields(OutputFieldsDeclarer declarer)。excute()将GPSReceiverSpout接受到数据提取经度和纬度,调用Sects类 Sect.fetchSect(GPSrecord)方法,查询本地地理信息数据库,返回该条GPS记录所在区域标号 districtID,并将这个字段添
转载 精选 2015-04-22 12:02:52
553阅读
先介绍背景再贴源码:项目背景:实时GPS数据客流特征分析系统,数据来源是大约5万两出租车和公交车车载GPS仪,其目的是要研究出行者出行特征实时路况、客流特征等。本文介绍项目,我们基于storm开发了实时交通路况系统,源码已经在github上开源:https://github.com/whughchen/RealTimeTraffichttps://github.com/whughc
转载 精选 2015-04-22 12:01:22
694阅读
先介绍背景再贴源码:项目背景:实时GPS数据客流特征分析系统,项目来源于深圳交委,数据来源是深圳大约5万两出租车和公交车车载GPS仪,其目的是要研究出行者出行特征实时路况、客流特征等。开发环境:请参考:storm开发环境部署配置教程函数详解:最重要两个函数是 nextTuple() 和declareOutputFields(OutputFiel
转载 2023-05-12 02:29:44
55阅读
Storm会保证每个来自Spout消息会被完全处理。本文介绍Storm是如何实现这种保证机制,以及要让用户从Storm可靠性能力中获益所要做一些事情。“完全处理消息”意味着什么?一个来自Spout数据元组可能会触发基于这个这个数据元组所创建数以千计数据单元。例如,流式单词计数拓扑结构: TopologyBuilderbuilder=newTopologyBuilder(); b
一、基本概念1.相较于hadoop优势        相对于hadoop而言,strom优势在于对于应对大数据实时数据处理上,因为hadoop在处理大数据过程中高延时特点使得其面对实时数据缺乏足够应对策略,目前strom已经被广泛应用在诸如金融系统,实时推送系统,预警系统,网站统计等多个场景中,他可伸缩性高,不存在数据丢失,高容错性,
基于Redis、Storm实时数据查询实践 通过算法小组给出聚合文件,我们需要实现一种业务场景,通过用户消费地点商户ID与posId,查询出他所在商圈,并通过商圈地点查询出与该区域做活动商户,并与之进行消息匹配,推送相应活动信息到用户手机。 那么整个流程分为两步,第一步,将整个聚合文件
转载 2017-09-07 10:11:00
149阅读
2评论
为什么要做实时数据平台首先先介绍一下背景,为什么我们要做这个数据平台?其实了解携程业务的话,就会知道携程
转载 2022-01-04 10:56:36
301阅读
背景 UAE(UC App Engine)是一个UC内部PaaS平台,总体架构有点类似CloudFoundry,包括: 快速部署:支持Node.js、Play!、PHP等框架 信息透明:运维过程、系统状态、业务状况 灰度试错:IP灰度、地域灰度 基础服务:key-value存储、MySQL高可用、图片平台等 这里它不是主角,不作详细介绍。 有数百个Web应用运行在UAE上,所有的请求都会经过U
转载 2023-06-11 16:08:48
61阅读
App Engine)是一个U
原创 2023-07-24 17:27:41
90阅读
一、引言设备状态实时监测对于风机故障诊断以及保证机组安全可靠运行具有重要意义。只有进行实时采集、记录机组运行状态各种数据,才能及时发现异常情况,快速、准确地诊断出故障产生原因,提出对策。这些都是通过对采集到数据进行加工处理来实现。而如何实现对数据实时采集是其中一个关键问题。过去实时数据采集系统一般是在操作系统下应用汇编语言开发或者用语言开发,目前多采用语言开发。因为其效率较高、可
假期内,难免老友聚会吃饭聊天联络感情,年轻朋友相亲约会,一家人出门旅游。平时,我们聚会时,总有要来的人找不到聚会地点,需要反复打电话确认;相亲约会时有时也需要反复打电话确认地点;外出自驾游有时找爱车比较麻烦;跟团旅游时,有时迷路或者不知道汇合地点,耽误大家时间。这些情况相信大家在平时或多或少遇到过。现在iPhone手机上GPS好帮手应用可以帮助您解决这些问题,聚会约会不用再反复打电话了,旅游
转载 2023-07-12 14:03:36
44阅读
背景      目前美团点评已累计了丰富线上交易与用户行为数据,为商家赋能需要我们有更强大专业化数据加工能力,来帮助商家做出正确决策从而提高用户体验。目前商家端产品在数据应用上主要基于离线数据加工,数据生产调度以“T+1”为主,伴随着越来越深入精细化运营,实时数据应用诉求逾加强烈。本文将从目前主流实时数据处理引擎特点和我们面临问题出发,简单介绍一下我们是如何搭建实时数据处理系统。设计
原创 2021-05-20 14:19:55
290阅读
客流统计分析系统采用了基于运动目标智能跟踪与识别技术,并通过人工神经网络(ANN)、关键特征匹配等算法和智能统计模型,对指定单个或多个监控系统区域(如场馆、商业街、地铁出入口、展会场馆)客流进行视频监控、运动分析和特征分类,精确检测出通过该区域客流数据,实现对客流数据精确、双向统计。不同于热区,客流热区是一款针对于景区经营管理所诞生一种客流分析工具,所谓客流热区是指在一定
本文来自7月26日在上海举行 Flink Meetup 会议,分享来自于刘康,目前在大数据平台部从事模型生命周期相关平台开发,现在主要负责基于flink开发实时模型特征计算平台。熟悉分布式计算,在模型部署及运维方面有丰富实战经验和深入理解,对模型算法及训练有一定了解。
原创 2019-04-28 16:03:41
979阅读
文章目录1、ATGM336H模块介绍2、驱动编写3、源码 这里GPS一般返回都是大量数据,而且是一行行那种,大部分数据也不太用到,所以这个时候用串口DMA空闲中断其实就意义不大,这样我们就可以用一种新思路来进行数据解析,专门针对这样数据!!! 1、ATGM336H模块介绍这里我用大概长这样,还有很多其他版本,不过区别不大,都差不多,可对照学习 参数说明:参数详情说明波特率:96
GPS监控系统解决方案  大连思绪软件工作室提供专业地理信息系统(GIS) 、全球定位系统(GPS)解决方案及开发服务。一、系统概述 GPS车辆智能管理调度系统,采用GPS全球卫星定位系统、GSM全球移动通讯技术(SMS短信息业务\GPRS通用分组无线业务),GIS地理信息系统和计算机网络通信与数据处理技术,在SMS/GPRS基础上开发出
Storm提供了几种不同级别的保证消息处理,包括尽力而为,至少一次,以及通过Trident完成一次。1,What does it mean for a message to be “fully processed”?(消息“完全处理”是什么意思?)从Spout发射元组可以触发基于数千个元组。例如,考虑流式字数统计拓扑:TopologyBuilder builder = new Topolog
1.文章信息《Passenger flow control strategies for urban rail transit networks》是2020年发表在Applied Mathematical Modelling上一篇文章。2.摘要由于现代城市巨大交通需求,城市轨道交通拥堵问题日益严重。为了保证高峰时段车站服务安全和质量,有必要采取一些合理有效客流控制策略。本研究通过考虑时间依
日内容
转载 2023-08-04 22:25:21
59阅读
《大数据实时处理STORM简介》作者:chszs,转载需注明。博客主页
原创 2013-07-10 17:02:22
70阅读
  • 1
  • 2
  • 3
  • 4
  • 5