necther的博客_大数据

Neo4j 底层存储结构分析

neo4j中节点和关系的物理存储模型neo4j存储模型Thenoderecordscontainonlyapointertotheirfirstpropertyandtheirfirstrelationship(inwhatisoftentermedthe_relationshipchain).Fromhere,wecanfollowthe(doubly)linked-listofrelation

图数据库

转载 2018-11-12 09:21:57 4754 阅读

如何计算用户在某个车站上下车，地图匹配方法

Python代码如下：输入经纬度和编码级别计算对应的geohash编码frommathimportlog10__base32='0123456789bcdefghjkmnpqrstuvwxyz'__decodemap={}foriinrange(len(__base32)):__decodemap[__base32[i]]=idelidefdecode_exactly(geohash):lat_i

算法

GIS

原创 2018-09-27 16:57:40 3082 阅读

python spark windows pycharm pyspark环境配置

1、下载如下放在D盘添加SPARK_HOME=D:\spark-2.3.0-bin-hadoop2.7。并将%SPARK_HOME%/bin添加至环境变量PATH。然后进入命令行，输入pyspark命令。若成功执行。则成功设置环境变量找到pycharmsitepackage目录右键点击即可进入目录，将上面D:\spark-2.3.0-bin-hadoop2.7里面有个/python/pyspark

环境配置

pycharm

pyspark

原创 2018-08-09 17:38:07 8723 阅读 1收藏

如何建立大数据风控的框架

在金融风控领域，数据有五个属性，1、人口属性性别，年龄，电话号码、姓名、家庭住址，主要是为了怎么找到这个用户2、消费特征电商用户经常买什么，在什么时候买东西，每个月消费多少，可以间接成为信用评分比如有的客户每个月可以消费几千块，买的东西也是中高端的商品，其实是可以进行一个小额放贷的3、兴趣爱好微博上的发言，经常上什么网站，就可以判断出这个人是否经常出去旅游，爱好汽车4、信用属性收入的情况，资产的情

大数据

风控

原创 2018-07-14 15:44:08 2082 阅读 1点赞

spark和hive storm mapreduce的比较

SparkStreaming与Storm都可以用于进行实时流计算。但是他们两者的区别是非常大的。其中区别之一就是，SpankStreaming和Stom的计算模型完全不一样，SparkStreaming是基于RDD的，因此需要将一小段时间内的，比如1秒内的数据，收集起来，作为一个RDD.然后再针对这个batch的数据进行处理。而Storm却可以做到每来一条数据，都可以立即进行处理和计算。因此，Sp

大数据

spark

hive

原创 2018-04-28 15:11:32 3299 阅读 1点赞

解决geohash编码跨区域问题

在上一篇文章中提出用geohash解决匹配点的性能问题，该算法有个缺陷也就是如果在边界上的时候，该点附近的点可能就跨界了，也就是通过该点的geohash值无法找到对应的点。例如：图中蓝色点为需要绑路映射的点下方的红点为绑路计算之后的点导致偏移的原因是随州街上的点数据在geohashcode分区时都属于蓝点上方的分区在数据库中查询出来的结果显示和蓝色点在一个分区的路网数据位于下图所以找到的数据均位于

gis

map

geohashcode

原创 2017-12-11 14:44:41 4155 阅读 1点赞

SpringBoot构建大数据开发框架

为什么使用SpringBoot1、web工程分层设计，表现层、业务逻辑层、持久层，按照技术职能分为这几个内聚的部分，从而促进技术人员的分工2、需要各种XML配置，还需要搭建Tomcat或者jetty作为容器来运行，每次构建项目，都需要经历此流程3、一个整合良好的项目框架不仅仅能实现技术、业务的分离，还应该关注并满足开发人员的“隔离”springBoot是什么SpringBoot是由Pivotal团

大数据

springboot

框架

原创精选 2017-12-06 14:20:15 10000+阅读 3点赞 3收藏

如何在大量经纬度数据中搜索附近的点

空间数据库例如在postgresql中新建一个可以保存空间数据的表：CREATETABLE"public"."roadpoint"("lat"float8DEFAULT0,"lng"float8DEFAULT0,"gisp"point,"id"int4DEFAULTnextval

经纬度

gis

LBS

原创 2017-12-05 14:19:22 2342 阅读 1点赞

图数据库Neo4j在GIS系统的应用

1. 概述1.1. 图数据库简介图数据库（Graph Database）是基于图论实现的一种新型的NoSQL数据库。他的数据存储结构和数据的查询方式都是以图论为基础的，图论中图的基本元素为节点和边，在图数据库中对应的就是节点和关系。在图数据库中，数据与数据之间的关系通过节点和关系构成一个图结构并且在此结构上实现数据库的所有特性，如对图数据对象进行创建、读取、更新、删除（Crea

GIS