necther的博客_算法

同志们我搬家了

我搬家到知乎易显维https://www.zhihu.com/people/yi-xian-wei-50系统之神与我同在队队长主要研发语义解析、文本校对系统2018 CCF DBCI – 宜信 – 基金间的相关性预测 Top 3 2018 卓尔智联研究院 – 农贸市场的价格预测 Top 2 2018 创客中国 – 基于大数据的汽轮机瞬态应力分析与预测 T

大数据

人工智能

知乎

数据

数据建模

原创 2021-10-27 15:12:40 665 阅读

再谈XGBoost原理

GBDT的核心就在于累加所有树的结果作为最终结果。分类树决策树的分类算法有很多，以具有最大熵的特征进行分类，以信息增益特征进行分类（ID3），以增益率特征进行分类（C4.5），以基尼系数特征进行分类（CART分类与回归树）等等。这一类决策树的特点就是最后的结果都是离散的具体的类别，比如苹果的好/坏，性别男/女。回归树回归树与分类树的流程大致一样，不同的是回归树在每个节点都会有一个预测值，以年龄为例

机器学习

原理

原创 2018-12-12 09:46:31 4093 阅读

终于，「最近邻搜索」有通用方法了

作者：KevinHartnett编译：Bing如果你打算开一家咖啡馆，你一定想知道：“附近最近的一家咖啡馆在哪？”了解这些信息有助于应对商业竞争。这种现象是计算机科学中广泛研究的问题，称为“最近邻搜索”。它的问题是，给定数据集和新的数据点，数据集中哪个数据离新数据点最近？这个问题出现的场景非常丰富，可以是基因搜索、图像查询，或者音乐推荐。但是最近邻问题并不像咖啡馆那么容易解决。过去几十年，很多计算

算法

转载 2018-08-16 08:46:15 2333 阅读

Python版本的谷歌S2空间索引算法

参考https://en.wikipedia.org/wiki/Hilbert_curvehilbert_map={'a':{(0,0):(0,'d'),(0,1):(1,'a'),(1,0):(3,'b'),(1,1):(2,'a')},'b':{(0,0):(2,'b'),(0,1):(1,'b'),(1,0):(3,'a'),(1,1):(0,'c')},'c':{(0,0):(2,'c')

算法

GIS

大数据

原创 2018-08-14 16:11:51 4373 阅读

kaggle中zillow比赛中模型融合的方法及其代码

在机器学习这个领域，尤其是做多媒体（声音、图像、视频）相关的机器学习方法研究，会涉及很多特征、分类模型（分类任务）的选择。以声音识别为例，常见的特征有MFCC、LPCC、spectrogram-likefeatures等，分类模型就很多了，有传统的分类模型SVM、KNN、RandomForest，还有现在比较火的深度模型DNN、CNN、RNN等。而往往单特征、单模型很难取得理想的性能（perfor

算法

机器学习

原创 2018-08-09 15:21:33 10000+阅读

gbdt+lr代码

importnumpyasnpnp.random.seed(10)importmatplotlib.pyplotaspltfromsklearn.datasetsimportmake_classificationfromsklearn.linear_modelimportLogisticRegressionfromsklearn.ensembleimport(RandomTreesEmbeddin

算法

机器学习

原创 2018-08-09 15:07:49 3727 阅读

如何理解EM算法

如果使用基于最大似然估计的模型，模型中存在隐变量，就要用EM算法做参数估计。个人认为，理解EM算法背后的idea，远比看懂它的数学推导重要。idea会让你有一个直观的感受，从而明白算法的合理性，数学推导只是将这种合理性用更加严谨的语言表达出来而已。打个比方，一个梨很甜，用数学的语言可以表述为糖分含量90%，但只有亲自咬一口，你才能真正感觉到这个梨有多甜，也才能真正理解数学上的90%的糖分究竟是怎么

算法

转载 2018-08-08 09:14:01 859 阅读

探索车险未来方向，2018平安产险数据建模大赛圆满落幕，获得第五名

前段时间一直忙于参加这个比赛，最后成绩第五名。8月3日，由平安产险精算部和AI部合作运营的“2018平安产险数据建模大赛”决赛在深圳圆满落幕。平安产险董事长兼CEO孙建平，平安产险常务副总经理史良洵，平安集团首席科学家肖京，平安产险副总经理梁小英，平安产险总经理助理周克俊，平安产险总经理助理顾青山，香港科技大学计算机系主任杨强，中科院计算所副所长程学旗，清华大学信息技术院副院长邢春晓等嘉宾出席决赛

算法

原创 2018-08-07 16:27:44 1383 阅读 1评论

关于机器学习的领悟与反思

作者介绍张志华北京大学数学学院教授，北京大数据研究院高级研究员。曾在浙江大学和上海交通大学计算机系任教。主要从事机器学习与应用统计等领域的教学与科研工作。◆◆◆◆近年来，人工智能的强势崛起，特别是去年AlphaGo和韩国九段棋手李世石的人机大战，让我们深刻地领略到了人工智能技术的巨大潜力。数据是载体，智能是目标，而机器学习是从数据通往智能的技术、方法途径。因此，机器学习是数据科学的核心，是现代人工

人工智能

机器学习

算法

转载 2018-07-26 15:03:07 692 阅读 1评论

Kaggle技巧总结

Kaggle技巧总结Introduction首先简单介绍一些关于Kaggle比赛的知识：不同比赛有不同的任务，分类、回归、推荐、排序等。比赛开始后训练集和测试集就会开放下载。比赛通常持续2~3个月，每个队伍每天可以提交的次数有限，通常为5次。比赛结束前一周是一个Deadline，在这之后不能再组队，也不能再新加入比赛。所以想要参加比赛请务必在这一Deadline之前有过至少一次有效的提交。

机器学习

算法

kaggle

原创 2018-07-18 09:40:39 4660 阅读 1收藏

lightgbm论文翻译

Lightgbm：高效梯度提升决策树摘要：梯度提升决策树（GBDT）是一种流行的机器学习算法，并且有很多有效的实现，例如XGBoost和pGBRT。尽管在这些实现中已经采用了许多工程优化，但是当面对维度高，数据量大的问题时，其特征的效率和可扩展性仍然不尽人意。其中一个主要原因是对于每个特征，他们需要遍历所有的数据实例来估计所有可能的分割点的信息增益，这非常耗时。为了解决这个问题，我们提出了两种新颖

人工智能

机器学习

算法

原创 2018-07-04 07:33:53 5253 阅读

分类回归树什么时候不能反映数据的真实趋势

本质上lightgbm和xgboost都是基于分类回归树集成的学习算法，所以他们也会有一些先天缺陷：当训练数据的特征都集中在一个区间内，而测试数据偏离该区间较大时会出现不能拟合的情况，根本原因是因为分类回归树对于某一个叶子节点上的数据的目标值是采取该叶子节点的目标值均值做梯度提升最终确定预测值的。比如我有个数据如下：x,y1,12,23,34,45,56,67,78,89,910,1011,111

机器学习

数据分析

原创 2018-06-24 09:11:09 1601 阅读

对xgboost和lightgbm的理解及其调参应该关注的点

这两个算法都是集成学习了分类回归树模型，先讨论是怎么集成的。集成的方法是GradientBoosting比如我要拟合一个数据如下：第一次建了一个模型如上图中的折线，效果不是很理想，然后要新建一个模型来综合一下结果，那么第二个模型如何建，我们将实际目标值和我们第一个模型的预测的差值作为第二次模型的目标值如下图再建一个模型：然后不断地新建新的模型，过程如下：最后就能集成这些模型不断提升预测的精度。步骤

数据分析

机器学习

集成学习

原创精选 2018-06-22 11:23:55 10000+阅读 1点赞

K-means聚类最优k值的选取

最近做了一个数据挖掘的项目，挖掘过程中用到了K-means聚类方法，但是由于根据行业经验确定的聚类数过多并且并不一定是我们获取到数据的真实聚类数，所以，我们希望能从数据自身出发去确定真实的聚类数，也就是对数据而言的最佳聚类数。为此，我查阅了大量资料和博客资源，总结出主流的确定聚类数k的方法有以下两类。1.手肘法1.1理论手肘法的核心指标是SSE(sumofthesquarederrors，误差平方

数据分析

聚类算法

原创 2018-06-13 10:50:32 6426 阅读 1评论

xgboost回归代码及lgb参数说明

xgboost训练回归模型很简单，按照前面的博客安装了xgboost库之后：importxgboostasxgbdata_train=xgb.DMatrix(train1[feature_use].fillna(-1),label=train1['target'])data_test=xgb.DMatrix(test1[feature_use].fillna(-1),label=test1['ta

集成学习

算法

机器学习

原创 2018-06-12 09:57:54 10000+阅读

集成学习lgb库调参的粒子群方法

粒子群算法是模拟鸟群蜂群的觅食行为的一种算法。基本思想是通过群体中个体之间的协作和信息共享来寻找最优解。试着想一下一群鸟在寻找食物，在这个区域中只有一只虫子，所有的鸟都不知道食物在哪。但是它们知道自己的当前位置距离食物有多远，同时它们知道离食物最近的鸟的位置。想一下这时候会发生什么？鸟A：哈哈哈原来虫子离我最近！鸟B,C,D：我得赶紧往A那里过去看看！同时各只鸟在位置不停变化时候离食物的距离也不断

机器学习

算法

集成学习

原创精选 2018-06-12 09:41:46 10000+阅读 1点赞 3评论

如何从大规模的经纬度轨迹数据中选出能够代表该轨迹的点

背景：需要对两个轨迹进行比对，判断是否重合或者重合度有多少。两条轨迹的经纬度数据量很大，导致比对的时候计算量很大，所以需要从两条轨迹中选出具有代表性的点进行比较。例如在下图中：ABCDE五个点之间还有很多经纬度数据。但是实际上真正能代表这个轨迹的就是这五个点此处采用geohash编码来解决这个问题：我们将整个经纬度数据进行geohash编码：轨迹即变成上图所示，我们在每个geohash编码对应的经

gis

大规模

原创 2018-05-23 08:38:13 2351 阅读 1评论

如何在windows下安装xgboost库

（0）前提是，你得下载好anaconda，并且安装之，我的下载地址如下（python3windows64位）https://repo.continuum.io/archive/Anaconda3-4.4.0-Windows-x86_64.exe（1）下载xgboost源码(这里直接用官方最新的源码，这里我们不需要用gitclone--recursive,因为用的是编译好的dll，因此不需要下载那么

集成学习

xgboost

原创 2018-05-15 10:47:24 6260 阅读 1点赞

常用的集成学习方法

集成学习是构建一组基学习器，并将它们综合作为最终的模型，在很多集成学习模型中，对基学习器的要求很低，集成学习适用于机器学习的几乎所有的领域：1、回归2、分类3、推荐4、排序集成学习有效的原因多样的基学习器可以在不同的模型中取长补短每个基学习器都犯不同的错误，综合起来犯错的可能性不大但是想同的多个基学习器不会带来任何提升集成学习示例：例如在上图中每个线性模型都不能成功将该数据集分类但是三个线性模型的

数据竞赛

算法

机器学习

原创精选 2018-05-14 14:42:38 10000+阅读 2点赞 2收藏

司机乘客匹配中的距离和最小问题

这个是在工作中遇到的一个实际的算法问题，问题描述如下，当前有m个司机，n个乘客，每个司机和每个乘客的距离由经纬度可以计算得到，如何匹配可以使其去接乘客的距离和最小？（只能一个司机接一个乘客）带权二分图方法一般对KM算法的描述，基本上可以概括成以下几个步骤：（1）初始化可行标杆（2）用匈牙利算法寻找完备匹配（3）若未找到完备匹配则修改可行标杆（4）重复（2）（3）直到找到相等子图的完备匹配关于该算法

算法

距离

最小问题

原创精选 2018-05-03 09:13:50 10000+阅读 2点赞 2收藏 2评论

网约车智能派单方法

1.概述1.1.背景随着公司车辆和订单的增长，对智能调度算法的需求越来越迫切1.2.目的该算法主要解决以下几个问题：1、为了更好的服务乘客，订单被派单优先级的策略2、模拟系统中司机空驶策略的生成3、人流分布变化的机器学习方法4、一个城市需要司机数目的计算方法5、从统计数据中得到运营策略2.地图乘客分布矩阵拉取只读从库中的订单起点数据制作成热力图武汉附近的分布情况如下图：我们取经纬度范围113.99

人工智能

强化学习

智能出行

原创 2018-05-02 14:57:07 10000+阅读 2点赞 1收藏 3评论

主流CTR预估模型的演化及对比

SVM推导过程

![](http://i2.51cto.com/images/blog/201804/10/73b43ef6a2165641d62973e73aec0f98.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3po

SVM

机器学习

原创 2018-04-10 16:51:53 2296 阅读 2点赞 1收藏

电子围栏内外的判别方法

最近公司数据库因为CPU占用过高卡住了，原因是后台在服务器中计算司机定位坐标点是否在电子围栏内。首先这个功能实现的时候就没有注意一个原则，计算尽量交给程序，吞吐交给数据库。所以现在需要将这个功能移出来。简单来说该算法就是判断一个点是否在一个多边形内。我们用回转数法实现。平面中的闭合曲线关于一个点的回转数（又叫卷绕数），代表了曲线绕过该点的总次数。下面这张图动态演示了回转数的概念：图中红色曲线关于点

算法

电子围栏

内外

原创 2018-03-20 17:29:29 10000+阅读 1点赞

人体姿态估计在网约车风控系统中的应用

网约车公司在运营过程中经常会遇到一个问题，就是如果司机不接单，却把车开出去接乘客，相当于开黑车。那么系统如何发现这种行为，其中就需要人体姿态估计。相对于传统方法，只识别人体来数人数有一个问题，就是如果乘客之间发生遮挡，或者后排乘客没有露出面部，就会找不到乘客。使用人体姿态估计的方法就可以在上述情况下也能清楚判断车内人数，并且为车内行为识别提供很好的数据预处理。该方法对于接入公司平台的出租车公司有很

姿态估计

卷积

神经网络

原创 2018-03-14 11:07:43 3834 阅读 2点赞 1评论

货品目标检测样本制作方法

最近公司要做无人超市项目，基本实现方式是通过摄像头检测货柜里面有多少个什么类别的货品，也就是目标检测算法。该方法所需数据样本为标记了位置的货品图片，如下所示。为了制作该图片，设计方法如下：1、拍摄该样品360度的视频2、将视频抓帧3、将图片通过opencv拼装成样本拍摄视频如下并抓帧的程序如下：importosimportcv2path="F:/objectdect/avi/"

voc

样本制作

目标检测

原创 2018-03-14 10:57:14 1936 阅读 1点赞 1评论

高效的多维空间点索引算法 — Geohash 和 Google S2

高效的多维空间点索引算法—Geohash和GoogleS2引子每天我们晚上加班回家，可能都会用到滴滴或者共享单车。打开app会看到如下的界面：app界面上会显示出自己附近一个范围内可用的出租车或者共享单车。假设地图上会显示以自己为圆心，5公里为半径，这个范围内的车。如何实现呢？最直观的想法就是去数据库里面查表，计算并查询车距离用户小于等于5公里的，筛选出来，把数据返回给客户端。这种做法比较笨，一般

空间索引

geohash

转载 2017-12-14 17:37:55 5372 阅读 2点赞 1收藏

坐标点地图匹配方法

1.概述1.1.背景随着公司业务发展，车定位轨迹数据越来越多，目前发现轨迹数据存在偏移问题，本文主要目的在于用图数据库和空间数据库来解决偏移问题，做到轨迹纠偏，将偏移的定位点放置到附近的道路上。例如在上图中有个点不在轨迹上，也不在道路上，本文将通过计算的方法给它找到附近最近的道路上的点。1.2.绑路方法绑路的方法主要分为以下几个步骤：1、获取路网数据保存至Neo4j数据库2、将路网中的点数据保存到

地图匹配

空间数据

图数据库

原创精选 2017-12-05 08:53:05 10000+阅读 5点赞 2收藏 8评论

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

朝闻道

同志们我搬家了

再谈XGBoost原理

终于，「最近邻搜索」有通用方法了

Python版本的谷歌S2空间索引算法

kaggle中zillow比赛中模型融合的方法及其代码

gbdt+lr代码

如何理解EM算法

探索车险未来方向，2018平安产险数据建模大赛圆满落幕，获得第五名

关于机器学习的领悟与反思

Kaggle技巧总结

lightgbm论文翻译

分类回归树什么时候不能反映数据的真实趋势

对xgboost和lightgbm的理解及其调参应该关注的点

K-means聚类最优k值的选取

xgboost回归代码及lgb参数说明

集成学习lgb库调参的粒子群方法

如何从大规模的经纬度轨迹数据中选出能够代表该轨迹的点

如何在windows下安装xgboost库

常用的集成学习方法

司机乘客匹配中的距离和最小问题

网约车智能派单方法

主流CTR预估模型的演化及对比

SVM推导过程

电子围栏内外的判别方法

人体姿态估计在网约车风控系统中的应用

货品目标检测样本制作方法

高效的多维空间点索引算法 — Geohash 和 Google S2

坐标点地图匹配方法

欢迎