necther的博客_python,大数据,Spark,对事物的理解,深度学习,大数据

对xgboost和lightgbm的理解及其调参应该关注的点

这两个算法都是集成学习了分类回归树模型，先讨论是怎么集成的。集成的方法是GradientBoosting比如我要拟合一个数据如下：第一次建了一个模型如上图中的折线，效果不是很理想，然后要新建一个模型来综合一下结果，那么第二个模型如何建，我们将实际目标值和我们第一个模型的预测的差值作为第二次模型的目标值如下图再建一个模型：然后不断地新建新的模型，过程如下：最后就能集成这些模型不断提升预测的精度。步骤

数据分析

机器学习

集成学习

原创精选 2018-06-22 11:23:55 10000+阅读 1点赞

集成学习lgb库调参的粒子群方法

粒子群算法是模拟鸟群蜂群的觅食行为的一种算法。基本思想是通过群体中个体之间的协作和信息共享来寻找最优解。试着想一下一群鸟在寻找食物，在这个区域中只有一只虫子，所有的鸟都不知道食物在哪。但是它们知道自己的当前位置距离食物有多远，同时它们知道离食物最近的鸟的位置。想一下这时候会发生什么？鸟A：哈哈哈原来虫子离我最近！鸟B,C,D：我得赶紧往A那里过去看看！同时各只鸟在位置不停变化时候离食物的距离也不断

机器学习

算法

集成学习

原创精选 2018-06-12 09:41:46 10000+阅读 1点赞 3评论

常用的集成学习方法

集成学习是构建一组基学习器，并将它们综合作为最终的模型，在很多集成学习模型中，对基学习器的要求很低，集成学习适用于机器学习的几乎所有的领域：1、回归2、分类3、推荐4、排序集成学习有效的原因多样的基学习器可以在不同的模型中取长补短每个基学习器都犯不同的错误，综合起来犯错的可能性不大但是想同的多个基学习器不会带来任何提升集成学习示例：例如在上图中每个线性模型都不能成功将该数据集分类但是三个线性模型的

数据竞赛

算法

机器学习

原创精选 2018-05-14 14:42:38 10000+阅读 2点赞 2收藏

司机乘客匹配中的距离和最小问题

这个是在工作中遇到的一个实际的算法问题，问题描述如下，当前有m个司机，n个乘客，每个司机和每个乘客的距离由经纬度可以计算得到，如何匹配可以使其去接乘客的距离和最小？（只能一个司机接一个乘客）带权二分图方法一般对KM算法的描述，基本上可以概括成以下几个步骤：（1）初始化可行标杆（2）用匈牙利算法寻找完备匹配（3）若未找到完备匹配则修改可行标杆（4）重复（2）（3）直到找到相等子图的完备匹配关于该算法

算法

距离

最小问题

原创精选 2018-05-03 09:13:50 10000+阅读 2点赞 2收藏 2评论

人工智能在公司业务当中的应用

1、人体姿态估计简单来说就是用这个技术来识别公司的网约车内有几个人，这个技术可以防止司机不接订单私自载客，在年会上面宣传这个技术的时候，很多出租车公司的老板对该系统非常感兴趣，因为该系统的上线，让出租车公司的老板和我们的合作有安全感，他能够从系统上很清楚的看到什么时候自己的哪一个车上有几个人，什么时候司机接了乘客，这样出租车就希望能够将自己的车接入到公司的平台。2、目标跟踪该技术主要是和目标检测算

人工智能

目标检测

强化学习

姿态估计

原创精选 2018-04-23 15:01:11 4813 阅读 2点赞 1收藏 3评论

降维算法中的PCA方法

1主成分分析（PrincipalComponentAnalysis，PCA）2线性判别分析(LinearDiscriminantAnalysis,LDA)研究背景基本知识介绍经典方法介绍总结讨论问题的提出地理系统是多要素的复杂系统。在地理学研究中，多变量问题是经常会遇到的。变量太多，无疑会增加分析问题的难度与复杂性，而且在许多实际问题中，多个变量之间是具有一定的相关关系的。因此，人们会很自然地想到

主成分

分析

数据分析

原创精选 2018-04-13 14:39:06 10000+阅读 3点赞

目标跟踪的深度学习方法与 opencv实现kcf方法

目录概述31.1.背景31.2.目标跟踪问题描述31.3.目标跟踪测试数据集及性能评价标准4算法选型102.1.现有算法分类102.2.图像目标跟踪方法111.概述1.1.背景行为识别的前提是需要对人体目标进行识别和跟踪，现阶段我们已经通过使用开源人体姿态估计系统openpose实现了人体姿态识别，现在需要对人体目标进行跟踪判断视频后续画面中的人和前面画面中的对应关系。本文就现阶段计算机视觉目标跟

目标跟踪

深度学习

原创精选 2018-04-09 14:53:55 10000+阅读 2点赞 2收藏 6评论

无人超市目标检测算法的选型

经过测试得出以下结论：1、传统的目标检测算法主要有以下几种：（1）基于Boosting框架：Haar/LBP/积分HOG/ACFfeature+Adaboost（2）基于SVM：HOG+SVMorDPM等（3）模版匹配（特殊情况下可以用到）人工特征和LBP，HAAR特征级联分类器容易出现找不到目标的情况，但是优点是响应速度快，硬件投入低，训练模型快速因为有时候找不到目标所以舍弃。2、现在采用深度学

目标检测

深度学习

原创精选 2018-03-14 10:43:24 8228 阅读 4点赞 2评论

SpringBoot构建大数据开发框架

为什么使用SpringBoot1、web工程分层设计，表现层、业务逻辑层、持久层，按照技术职能分为这几个内聚的部分，从而促进技术人员的分工2、需要各种XML配置，还需要搭建Tomcat或者jetty作为容器来运行，每次构建项目，都需要经历此流程3、一个整合良好的项目框架不仅仅能实现技术、业务的分离，还应该关注并满足开发人员的“隔离”springBoot是什么SpringBoot是由Pivotal团

大数据

springboot

框架

原创精选 2017-12-06 14:20:15 10000+阅读 3点赞 3收藏

坐标点地图匹配方法

1.概述1.1.背景随着公司业务发展，车定位轨迹数据越来越多，目前发现轨迹数据存在偏移问题，本文主要目的在于用图数据库和空间数据库来解决偏移问题，做到轨迹纠偏，将偏移的定位点放置到附近的道路上。例如在上图中有个点不在轨迹上，也不在道路上，本文将通过计算的方法给它找到附近最近的道路上的点。1.2.绑路方法绑路的方法主要分为以下几个步骤：1、获取路网数据保存至Neo4j数据库2、将路网中的点数据保存到

地图匹配

空间数据

图数据库

原创精选 2017-12-05 08:53:05 10000+阅读 5点赞 2收藏 8评论

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

朝闻道

对xgboost和lightgbm的理解及其调参应该关注的点

集成学习lgb库调参的粒子群方法

常用的集成学习方法

司机乘客匹配中的距离和最小问题

人工智能在公司业务当中的应用

降维算法中的PCA方法

目标跟踪的深度学习方法与 opencv实现kcf方法

无人超市目标检测算法的选型

SpringBoot构建大数据开发框架

坐标点地图匹配方法

欢迎