necther的博客_python,大数据,Spark,对事物的理解,深度学习,大数据(2)

基于快速GeoHash，如何实现海量商品与商圈的高效匹配

阿里妹导读：闲鱼是一款闲置物品的交易平台APP。通过这个平台，全国各地“无处安放”的物品能够轻松实现流动。这种分享经济业务形态被越来越多的人所接受，也进一步实现了低碳生活的目标。今天，闲鱼团队就商品与商圈的匹配算法为我们展开详细解读。摘要闲鱼app根据交通条件、商场分布情况、住宅区分布情况综合考虑，将城市划分为一个个商圈。杭州部分区域商圈划分如下图所示。闲鱼的商品是由用户发布的GPS随机分布在地图

算法

转载 2018-07-17 07:53:54 1756 阅读

做统计特征需要注意的事项

1、要清楚的知道如果有两个样本他们的特征相似，是否就真的代表他们在现实世界中对预测结果的影响是相似的，否则这个就不是特征。2、要避免陷入自己计算自己的怪圈，会导致过拟合。3、采用一个样本的统计特征会比这个样本的本身的特征来预测效果要好。4、要相信人类才是这个世界的最高智慧，建立模型的时候合理思考究竟是什么对预测的结果会有影响，这些影响是怎么组织起来的，这些思考是建立模型的关键。5、合理的计算方式来

算法

统计特征

原创 2018-07-16 15:56:09 1026 阅读

特征工程指南

特征工程数据科学最有创造力的方面。要像其他任何有创造力的尝试一样对待它，就想写一个喜剧的秀。坚持头脑风暴创建模板或公式检查/重新审视以前的工作特征分类一些预处理似乎永远都是必要的很高的基数（即包含大量不同的值）会带来很稀疏的数据填补缺失值是一个难点Onehot编码One-of-K给一个长度为K的数组编码基本方法：大多使用一些线性的算法去掉第一列避免共线性稀疏格式是记忆友好的（便于存储）目前对待缺失

算法

特征工程

原创 2018-07-14 16:01:06 3893 阅读

如何建立大数据风控的框架

在金融风控领域，数据有五个属性，1、人口属性性别，年龄，电话号码、姓名、家庭住址，主要是为了怎么找到这个用户2、消费特征电商用户经常买什么，在什么时候买东西，每个月消费多少，可以间接成为信用评分比如有的客户每个月可以消费几千块，买的东西也是中高端的商品，其实是可以进行一个小额放贷的3、兴趣爱好微博上的发言，经常上什么网站，就可以判断出这个人是否经常出去旅游，爱好汽车4、信用属性收入的情况，资产的情

大数据

风控

原创 2018-07-14 15:44:08 2098 阅读 1点赞

如何利用业余时间提升自己

1、要找到心动的目标先要找到自己如果提升哪一方面的能力，能够对自己的工作有较大的贡献找到你想成为的人你从他身上找到你想拥有的技能你喜欢某个人的身上的某种行为表现也是你的榜样或者从你的爱好着手发现你在爱好中能够得到提升的点我想发展的工作技能是？我想发展的与兴趣相关的技能是？我的榜样身上让我特别想学习的技能是？目标不能太多，一段时间集中到一个目标上。2、要学会任务分解很多人并不是没时间而是没有大块时间

学习方法

业余时间

原创 2018-07-08 17:02:45 3341 阅读

关于刻意练习

刻意练习是需要一个度的每天必须要设定一个限度并不是越多越好，否则过度了之后效率是下降的还可以通过自己的输出来强化的自己的输入刻意练习的不光是知识还需要练习技能什么是学会了呢当你学会了某个技能的心理表征才算是学会了实际上一万小时并不是一个实际的数字是一个大概的数字不同的任务是不同的时间所以千万不要被一万小时定律的这个一万小时吓到这个一万小时是为了写书的时候好传播并不是真的每个事情都要练习一万个小时刻

学习

刻意练习

原创 2018-07-08 16:18:41 740 阅读

lightgbm论文翻译

Lightgbm：高效梯度提升决策树摘要：梯度提升决策树（GBDT）是一种流行的机器学习算法，并且有很多有效的实现，例如XGBoost和pGBRT。尽管在这些实现中已经采用了许多工程优化，但是当面对维度高，数据量大的问题时，其特征的效率和可扩展性仍然不尽人意。其中一个主要原因是对于每个特征，他们需要遍历所有的数据实例来估计所有可能的分割点的信息增益，这非常耗时。为了解决这个问题，我们提出了两种新颖

人工智能

机器学习

算法

原创 2018-07-04 07:33:53 5253 阅读

为什么不喜欢看电视

我有小孩之后就把家里的电视给拆了因为现在的电视简直不能看，取而代之的应该是书架和经典的书籍电视主要有以下几个问题：1、电视对于人的影响是一个灌输式的，不是主动思考的，2、电视节目非常浪费时间，随便一个电视剧就是几十集一追剧就要几个月3、现在的演艺明星很多都靠卖弄人设为生，以前还讲一点演技，起码还有点干货，还显得为观众有所付出，现在他们只需要维持一个人设就可以赚钱，这个钱我是不出的。4、电视节目的信

娱乐

原创 2018-07-01 17:26:16 663 阅读

分类回归树什么时候不能反映数据的真实趋势

本质上lightgbm和xgboost都是基于分类回归树集成的学习算法，所以他们也会有一些先天缺陷：当训练数据的特征都集中在一个区间内，而测试数据偏离该区间较大时会出现不能拟合的情况，根本原因是因为分类回归树对于某一个叶子节点上的数据的目标值是采取该叶子节点的目标值均值做梯度提升最终确定预测值的。比如我有个数据如下：x,y1,12,23,34,45,56,67,78,89,910,1011,111

机器学习

数据分析

原创 2018-06-24 09:11:09 1601 阅读

对xgboost和lightgbm的理解及其调参应该关注的点

这两个算法都是集成学习了分类回归树模型，先讨论是怎么集成的。集成的方法是GradientBoosting比如我要拟合一个数据如下：第一次建了一个模型如上图中的折线，效果不是很理想，然后要新建一个模型来综合一下结果，那么第二个模型如何建，我们将实际目标值和我们第一个模型的预测的差值作为第二次模型的目标值如下图再建一个模型：然后不断地新建新的模型，过程如下：最后就能集成这些模型不断提升预测的精度。步骤

数据分析

机器学习

集成学习

原创精选 2018-06-22 11:23:55 10000+阅读 1点赞

对于分类回归树和lightgbm的理解

在分类回归树中之所以要先分类后回归的原因是，对于一般的线性回归是基于全部的数据集。这种全局的数据建模对于一些复杂的数据来说，其建模的难度会很大。所以我们改进为局部加权线性回归，其只利用数据点周围的局部数据进行建模，这样就简化了建模的难度，提高了模型的准确性。树回归也是一种局部建模的方法，其通过构建决策点将数据切分，在切分后的局部数据集上做回归操作。比如在前面博客中提到的风险预测问题，其实就是在特征

算法

理解

原创 2018-06-15 15:47:31 4855 阅读 1收藏 2评论

共轭函数和原函数的关系

原函数约束很多，不一定是凸函数，也就是说原函数是一个也许有很多极小值的多维空间函数，它是不容易求最小值的。用来拟合，容易陷入局部最小值，得到的结果不够泛化。举例：一个训练好的分类器，对一些东西分类很准（拟合误差达到局部极小值），泛化能力很差（拟合误差不是全局最小）。通过求共轭函数，我们把它原函数映射到另一个多维空间（自变量都变了），变成一个新函数，这个函数是凸的，而且它的最大值小于等于原函数的最小

算法

共轭函数

关系

原创 2018-06-14 15:01:36 10000+阅读 1点赞

K-means聚类最优k值的选取

最近做了一个数据挖掘的项目，挖掘过程中用到了K-means聚类方法，但是由于根据行业经验确定的聚类数过多并且并不一定是我们获取到数据的真实聚类数，所以，我们希望能从数据自身出发去确定真实的聚类数，也就是对数据而言的最佳聚类数。为此，我查阅了大量资料和博客资源，总结出主流的确定聚类数k的方法有以下两类。1.手肘法1.1理论手肘法的核心指标是SSE(sumofthesquarederrors，误差平方

数据分析

聚类算法

原创 2018-06-13 10:50:32 6426 阅读 1评论

51CTO男子图鉴新的一年新的进步

这一年来不说得到很多起码坚持了很多坚持了早起七点到公司能够避免堵车还可以在早上状态最好的时候阅读很多书籍关心公司的数据完成一些工作这一年中在公司主要负责算法设计工作，完成了以下几个项目：1、深度学习平台环境的搭建2、实现RSSD算法进行目标检测3、实现人体姿态估计算法实现及公司业务场景应用4、数据决策系统设计实现（大数据报表系统）5、大数据风控系统实现6、基于强化学习的城市运营模拟推演系统实现（该

工作感悟

新的进步

原创 2018-06-12 10:40:43 1370 阅读 1点赞 7评论

xgboost回归代码及lgb参数说明

xgboost训练回归模型很简单，按照前面的博客安装了xgboost库之后：importxgboostasxgbdata_train=xgb.DMatrix(train1[feature_use].fillna(-1),label=train1['target'])data_test=xgb.DMatrix(test1[feature_use].fillna(-1),label=test1['ta

集成学习

算法

机器学习

原创 2018-06-12 09:57:54 10000+阅读

集成学习lgb库调参的粒子群方法

粒子群算法是模拟鸟群蜂群的觅食行为的一种算法。基本思想是通过群体中个体之间的协作和信息共享来寻找最优解。试着想一下一群鸟在寻找食物，在这个区域中只有一只虫子，所有的鸟都不知道食物在哪。但是它们知道自己的当前位置距离食物有多远，同时它们知道离食物最近的鸟的位置。想一下这时候会发生什么？鸟A：哈哈哈原来虫子离我最近！鸟B,C,D：我得赶紧往A那里过去看看！同时各只鸟在位置不停变化时候离食物的距离也不断

机器学习

算法

集成学习

原创精选 2018-06-12 09:41:46 10000+阅读 1点赞 3评论

如何用几行代码做特征选择

fromsklearn.feature_selectionimportRFEfromsklearn.linear_modelimportLinearRegression#LoadbostonhousingdatasetasanexampleX=np.array(train1[feature_use].fillna(-1))[1:train1.size,:]Y=np.array(train1['ta

特征

选择

原创 2018-06-07 09:25:35 3692 阅读 1评论

如何解决机器学习中数据不平衡问题

这几年来，机器学习和数据挖掘非常火热，它们逐渐为世界带来实际价值。与此同时，越来越多的机器学习算法从学术界走向工业界，而在这个过程中会有很多困难。数据不平衡问题虽然不是最难的，但绝对是最重要的问题之一。一、数据不平衡在学术研究与教学中，很多算法都有一个基本假设，那就是数据分布是均匀的。当我们把这些算法直接应用于实际数据时，大多数情况下都无法取得理想的结果。因为实际数据往往分布得很不均匀，都会存在“

数据分析

机器学习

转载 2018-05-25 17:05:41 10000+阅读 1收藏 1评论

2018平安产险数据建模大赛驾驶行为预测驾驶风险中遇到的问题及解决方案

1、数据需要清洗注意在读取csv格式文件之后需要对空值进行补全类似如下代码：2、特征工程此处选取以下几个指标作为分类和回归的特征3、深度模型失效通过日志发现正样本即Y>0的样本所占比例在14%左右，深度分类模型可能将所有的数据分为Y=0导致没有数据进行回归所以此处采用传统方法使用SVM方法和决策树进行分类进过测试发现SVM效果较好4、正样本过少考虑将回归模型改为广义线性回归放弃深度模型

机器学习

原创 2018-05-25 16:30:58 2830 阅读

高斯核会把原始维度映射到无穷多维的原理

先考虑多项式核函数(polynomialkernel)比如假设每个向量维度为2两向量X=(x1,y1)Y=(x2,y2)。则有现在分析高斯核同样每个向量的维度为2两向量X=(x1,y1)Y=(x2,y2)则有根据泰勒公式可以看出公式中的的泰勒展开式其实是0-n维的多项式核函数的和。我们知道多项式核函数将低维数据映射到高维(维度是有限的)，那么对于无限个不同维的多项式核函数之和的高斯核，其中也包括无

机器学习

多维

原理

原创 2018-05-25 10:49:11 4017 阅读

如何从大规模的经纬度轨迹数据中选出能够代表该轨迹的点

背景：需要对两个轨迹进行比对，判断是否重合或者重合度有多少。两条轨迹的经纬度数据量很大，导致比对的时候计算量很大，所以需要从两条轨迹中选出具有代表性的点进行比较。例如在下图中：ABCDE五个点之间还有很多经纬度数据。但是实际上真正能代表这个轨迹的就是这五个点此处采用geohash编码来解决这个问题：我们将整个经纬度数据进行geohash编码：轨迹即变成上图所示，我们在每个geohash编码对应的经

gis

大规模

原创 2018-05-23 08:38:13 2351 阅读 1评论

pytorch深度学习参加平安银行数据大赛，从驾驶行为预测驾驶风险

比赛链接http://www.datafountain.cn/#/competitions/284/intro本赛题提供部分客户1分钟级驾驶行为数据及对应客户的赔付率作为训练集，包括经纬度定位及驾驶状态等（已脱敏），参赛队伍需要对其进行数据挖掘和必要的机器学习训练。另外，我们会提供同期其他部分客户的驾驶行为数据来做评测，检测您的算法是否能准确的识别出当时客户的驾驶风险。与以往比赛不同的是,由于数据

深度学习

数据竞赛

数据分析

人工智能

算法

原创 2018-05-21 17:04:24 5206 阅读 2点赞 3评论

为什么很多年轻人不想生孩子

尽管二胎政策已经放开两年，但中国的生育率仍无可避免的出现了走低趋势。根据×××的数字，2017年我国出生人口与生育率分别为1723万人和12.43‰，两个指标双双下跌，其中出生人口远低于国家卫计委的预测数值简单来说有以下几个原因：1、古时候的农耕文明，越生孩子，国家越发达，人口越多，军队越多，可以开垦更多的田地，更多劳动力等等，所以生孩子是投资，多子多福。现代社会不一样了，生孩子不受教育，并不

生活

原创 2018-05-21 09:49:33 1527 阅读

python opencv加水印去水印

收到的需求是在一个图上匹配到水印然后将原来的水印换成一个新水印先要安装一个库库文件代码如下

opencv

python

图像处理

原创 2018-05-17 07:50:52 10000+阅读 2点赞 18评论

罗振宇的骗局

来源：微信公众号“拾遗”作者：拾遗　　1　　我朋友刘刚的一天是这样度过的：　　叮铃铃——早晨闹钟响起。　　他眼一睁，立马抓过手机，打开“得到”，倾听60秒罗胖教导。刷牙与吃早饭时，打开“喜马拉雅”，“完成了30分钟的音频学习。”然后，他出门上班。地铁上，再点开“知乎live”“听了三个知名答主的经验分享。”中午吃饭与午休的时间，他又点开了“在行”，“抓紧学习了《如何成为写作高手》。”下班路上，他又

知识付费

转载 2018-05-16 08:55:40 1011 阅读

用户真正的需求和生于行伍之间

1、相比锤子手机老罗我更欣赏的是小米或者谷歌的发布会我们从来不需要讲情怀，说自己加了多少班，难道小米的工程师谷歌的工程师就不加班就没有工匠精神2、老罗是教英语的他没有在基层干过雷军是程序员出身基本上把IT行业的职位都经历了一遍这个就好像一个学校的校长居然没有当过老师他就不能体会到一线教师遇到的问题3、PC的问题给PC解决怎么在锤子手机上面变成了由手机来解决希望锤子手机还是专心做好手机而不是把手机改

用户

真正

需求

产品设计

用户调研

原创 2018-05-16 08:06:38 960 阅读 1点赞

如何在windows下安装xgboost库

（0）前提是，你得下载好anaconda，并且安装之，我的下载地址如下（python3windows64位）https://repo.continuum.io/archive/Anaconda3-4.4.0-Windows-x86_64.exe（1）下载xgboost源码(这里直接用官方最新的源码，这里我们不需要用gitclone--recursive,因为用的是编译好的dll，因此不需要下载那么

集成学习

xgboost

原创 2018-05-15 10:47:24 6260 阅读 1点赞

常用的集成学习方法

集成学习是构建一组基学习器，并将它们综合作为最终的模型，在很多集成学习模型中，对基学习器的要求很低，集成学习适用于机器学习的几乎所有的领域：1、回归2、分类3、推荐4、排序集成学习有效的原因多样的基学习器可以在不同的模型中取长补短每个基学习器都犯不同的错误，综合起来犯错的可能性不大但是想同的多个基学习器不会带来任何提升集成学习示例：例如在上图中每个线性模型都不能成功将该数据集分类但是三个线性模型的

数据竞赛

算法

机器学习

原创精选 2018-05-14 14:42:38 10000+阅读 2点赞 2收藏

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

朝闻道

基于快速GeoHash，如何实现海量商品与商圈的高效匹配

做统计特征需要注意的事项

特征工程指南

如何建立大数据风控的框架

如何利用业余时间提升自己

关于刻意练习

lightgbm论文翻译

为什么不喜欢看电视

推荐系统笔记2

推荐系统笔记

分类回归树什么时候不能反映数据的真实趋势

对xgboost和lightgbm的理解及其调参应该关注的点

对于分类回归树和lightgbm的理解

共轭函数和原函数的关系

K-means聚类最优k值的选取

51CTO男子图鉴新的一年新的进步

xgboost回归代码及lgb参数说明

集成学习lgb库调参的粒子群方法

如何用几行代码做特征选择

如何解决机器学习中数据不平衡问题

2018平安产险数据建模大赛驾驶行为预测驾驶风险中遇到的问题及解决方案

高斯核会把原始维度映射到无穷多维的原理

如何从大规模的经纬度轨迹数据中选出能够代表该轨迹的点

pytorch深度学习参加平安银行数据大赛，从驾驶行为预测驾驶风险

为什么很多年轻人不想生孩子

python opencv加水印去水印

罗振宇的骗局

用户真正的需求和生于行伍之间

如何在windows下安装xgboost库

常用的集成学习方法

欢迎