necther的博客_python,大数据,Spark,对事物的理解,深度学习,大数据(3)

司机乘客匹配中的距离和最小问题

这个是在工作中遇到的一个实际的算法问题，问题描述如下，当前有m个司机，n个乘客，每个司机和每个乘客的距离由经纬度可以计算得到，如何匹配可以使其去接乘客的距离和最小？（只能一个司机接一个乘客）带权二分图方法一般对KM算法的描述，基本上可以概括成以下几个步骤：（1）初始化可行标杆（2）用匈牙利算法寻找完备匹配（3）若未找到完备匹配则修改可行标杆（4）重复（2）（3）直到找到相等子图的完备匹配关于该算法

算法

距离

最小问题

原创精选 2018-05-03 09:13:50 10000+阅读 2点赞 2收藏 2评论

网约车智能派单方法

1.概述1.1.背景随着公司车辆和订单的增长，对智能调度算法的需求越来越迫切1.2.目的该算法主要解决以下几个问题：1、为了更好的服务乘客，订单被派单优先级的策略2、模拟系统中司机空驶策略的生成3、人流分布变化的机器学习方法4、一个城市需要司机数目的计算方法5、从统计数据中得到运营策略2.地图乘客分布矩阵拉取只读从库中的订单起点数据制作成热力图武汉附近的分布情况如下图：我们取经纬度范围113.99

人工智能

强化学习

智能出行

原创 2018-05-02 14:57:07 10000+阅读 2点赞 1收藏 3评论

从强化学习到深度强化学习（下）

从离散空间到连续空间在之前提到的强化学习任务中，都是有限的MDP框架，即动作空间及状态空间的个数都是有限个。然而，现实生活中的很多问题动作空间与状态空间并非离散的，而是连续的。那么如何用强化学习的理论基础去解决问题呢？主要有两种思路：离散化处理、函数逼近。离散化处理：指的是把连续空间用区域o化的方式划分成有限的个数。具体的处理手法有Tilecoding及Coarsecoding。函数逼近：指的是把

强化学习

转载 2018-05-02 11:08:53 10000+阅读 1点赞

从强化学习到深度强化学习（上）

强化学习的理论框架——马科夫决策过程（MDP）强化学习，本质上是让计算机学会自主决策的方法论。而马可夫决策过程（Markovdecisionprocess,MDP）则是强化学习中，对现实问题进行建模的数学模型，它把所有的现实问题都抽象为：智能体与环境的互动过程；在互动过程中的每个时间步，智能体都收到环境的状态（环境向智能体呈现一种情况），智能体必须选择相应的响应动作，然后在下一个时间步，智能体获得

强化学习

转载 2018-05-02 10:57:54 5206 阅读

机器学习的特征究竟是什么

特征究竟是什么神经网络中的权值是什么神经网络的结构又是什么机器学习的模型是什么参数是什么这一切都是现实世界在算法中的倒影机器学习的根本就是要找到这个倒影我们用模型去映射这个现实世界好像以前做牙齿矫正要做一个石膏模型用一个石膏放在嘴里，然后取出来就可以做出牙齿的模型机器学习也是如此，我们用一个模型（石膏）去做成牙齿的形状，牙齿就是他的数据，牙齿的形状就是参数。如果模型不好比如用木头就不适合模仿牙齿这

机器

学习

特征

原创 2018-05-01 20:02:37 3488 阅读 1点赞

主流CTR预估模型的演化及对比

spark和hive storm mapreduce的比较

SparkStreaming与Storm都可以用于进行实时流计算。但是他们两者的区别是非常大的。其中区别之一就是，SpankStreaming和Stom的计算模型完全不一样，SparkStreaming是基于RDD的，因此需要将一小段时间内的，比如1秒内的数据，收集起来，作为一个RDD.然后再针对这个batch的数据进行处理。而Storm却可以做到每来一条数据，都可以立即进行处理和计算。因此，Sp

大数据

spark

hive

原创 2018-04-28 15:11:32 3409 阅读 1点赞

程序员不是修电脑的

1、不怎么会做PPT2、我也不会P图3、电脑坏了也是别人修的4、我只会写一点程序5、后台开发很久没做了不记得了6、外包公司不要找我7、不接受到处出差8、diaosi创业不要打电话9、做项目我写方案请先付定金10、机器太差跑不动程序不能怨程序员11、不要考我语法我不懂什么这里有个逗号那里没有逗号的区别

程序员

电脑

原创 2018-04-28 11:55:29 986 阅读

人生中要经历的形式主义

1、我的数学老师在他父亲去世的时候整个后事办下来只花了一千多块钱，既没有风光的葬礼也没有金玉镶嵌的骨灰盒，但是人们都说他是个大孝子。他的父亲活了九十岁，最后几年病卧在床，老师每天还在学校给我们上课，中间一有时间就回到市区的家里照顾父亲。来来回回跑了几年，大家都觉得他非常辛苦，但是却看不到他一点为难的神情。要说人活着实际上就是图一个温暖，关怀，照顾。风光的葬礼和金玉的骨灰盒都是给其他人看的，死都死了

形式

主义

原创 2018-04-27 08:30:08 719 阅读

隐马尔科夫模型与三个问题

隐马尔科夫模型定义隐马尔可夫模型是关于时序的概率模型，描述由一个隐藏的马尔可夫链随机生成不可观测的状态随机序列，再由各个状态生成一个观测而产生观测随机序列的过程。隐藏的马尔可夫链随机生成的状态的序列，称为状态序列（statesequence);每个状态生成一个观测，而由此产生的观测的随机序列，称为观测序列（observationsequence)。序列的每一个位置又可以看作是一个时刻。下面我们引入

自然语言

处理

算法

原创 2018-04-24 11:15:50 3097 阅读

词汇与分词技术

中文分词主要分为三个流派：机械式分词法（基于词典）：简单来说就是建立一个巨大的词典，然后将词典中的词语和文章中的词语相匹配，找到这个词语就算匹配成功，但是词典的完备性得不到保证。也就是文章中的有的词语在词典中找不到。基于语法和规则的分词法：分词的同时在句法语义方面进行分析，利用句法信息和语义信息进行词性标注，解决分词的歧义。因为现在的语法句法还十分复杂，所以精度还不高。基于统计的分词法根据字符串在

自然

语言处理

人工智能

原创 2018-04-24 10:43:47 1796 阅读 1点赞

《NLP汉语自然语言处理原理与实践》结构图

后续博客会根据上面的图结合一些其他资料更新自然语言处理的朋友多多交流

自然语言

处理

结构图

原创 2018-04-23 17:18:20 2756 阅读

人工智能在公司业务当中的应用

1、人体姿态估计简单来说就是用这个技术来识别公司的网约车内有几个人，这个技术可以防止司机不接订单私自载客，在年会上面宣传这个技术的时候，很多出租车公司的老板对该系统非常感兴趣，因为该系统的上线，让出租车公司的老板和我们的合作有安全感，他能够从系统上很清楚的看到什么时候自己的哪一个车上有几个人，什么时候司机接了乘客，这样出租车就希望能够将自己的车接入到公司的平台。2、目标跟踪该技术主要是和目标检测算

人工智能

目标检测

强化学习

姿态估计

原创精选 2018-04-23 15:01:11 4813 阅读 2点赞 1收藏 3评论

请稍微尊重一下知识

以前有个客户买公司的运动控制卡，我们说好卡的价格之后他要开发软件，然后我说了软件的报价。客户说了一句让我至今难以忘怀的话：“我买了硬件，软件还要钱啊？”我说软件工程师也要吃饭的。没有软件，你有卡有什么用，软件才是系统的灵魂。我国有些人有个不好的看法把知识分子当搬砖的搞。发达国家的医生、律师、工程师、教师都是受人尊重的。尊重医生就是敬畏生命。医生的天职是救死扶伤、守护生命，是患者一辈子都离不开的人。

知识

分子

原创 2018-04-18 15:46:31 725 阅读 1点赞

深度学习

推荐系统

转载 2018-04-18 11:33:32 7897 阅读

为什么要做技术

美国商务部在美东时间4月16日宣布，将禁止美国公司向中兴通讯(00763)销售零部件、商品、软件和技术7年，直到2025年3月13日。理由是中兴违反了美国限制向伊朗出售美国技术的制裁条款。由于美国公司在这7年内都不得卖东西给中兴，对中兴而言，未来不论是产品开发、规划、制造、销售等环节都会造成极大的影响，无疑将重挫中兴的发展。央视新闻客户端4月15日消息，美英法三国对叙利亚发动军事打击后，叙利亚驻联

祖国

技术

原创 2018-04-18 08:52:52 775 阅读 1点赞

如何通俗的理解极大似然估计

我昨天晚上买了一罐八宝粥在里面找了半天桂圆一般一罐八宝粥是有一颗桂圆的我们现在可以通过数这一罐八宝粥中的各种原料的颗数来推测厂家在生产的时候的原料的配比这里的理论依据是就是极大似然估计似然是像这个样子的意思极大似然估计，通俗理解来说，就是利用已知的样本结果信息，反推最具有可能（最大概率）导致这些样本结果（我手中的八宝粥）出现的模型参数值（厂家原料配比）！换句话说，极大似然估计提供了一种给定观察数据

极大

似然

估计

原创 2018-04-16 10:03:35 4866 阅读 2点赞

用scikit-learn学习主成分分析(PCA)

在主成分分析（PCA）原理总结中，我们对主成分分析(以下简称PCA)的原理做了总结，下面我们就总结下如何使用scikit-learn工具来进行PCA降维。scikit-learnPCA类介绍　　　　在scikit-learn中，与PCA相关的类都在sklearn.decomposition包中。最常用的PCA类就是sklearn.decomposition.PCA，我们下面主要也会讲解基于这个类的

PCA

算法

转载 2018-04-16 08:53:49 2025 阅读 1点赞 1评论

降维算法中的线性判别方法LDA

线性判别分析(LinearDiscriminantAnalysis,LDA)，有时也称Fisher线性判别(FisherLinearDiscriminant,FLD)，这种算法是RonaldFisher于1936年发明的，是模式识别的经典算法。在1996年由Belhumeur引入模式识别和人工智能领域的。基本思想是将高维的模式样本投影到最佳鉴别矢量空间，以达到抽取分类信息和压缩特征空间维数的效果，

降维算法

数据分析

51cto

原创 2018-04-13 14:44:29 2157 阅读 2点赞 1评论

降维算法中的PCA方法

1主成分分析（PrincipalComponentAnalysis，PCA）2线性判别分析(LinearDiscriminantAnalysis,LDA)研究背景基本知识介绍经典方法介绍总结讨论问题的提出地理系统是多要素的复杂系统。在地理学研究中，多变量问题是经常会遇到的。变量太多，无疑会增加分析问题的难度与复杂性，而且在许多实际问题中，多个变量之间是具有一定的相关关系的。因此，人们会很自然地想到

主成分

分析

数据分析

原创精选 2018-04-13 14:39:06 10000+阅读 3点赞

如何形象的理解贝叶斯公式

![](http://i2.51cto.com/images/blog/201804/13/a6d5a0ed707e3a818f2580b3a3d10aa0.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3po

贝叶斯

形象

理解

转载 2018-04-13 08:32:55 1458 阅读 2点赞

对约束条件优化问题的理解

以二维空间R^2举例无约束的优化问题注意我在图里画了等高线。此时在局部极小值点处的梯度必然为0，比较容易理解。这个梯度为零的条件是局部极小值点的必要条件。这样，优化问题的求解变成了对该必要条件解方程组。2.带等式约束的优化问题,与无约束的问题不同。我们所要求的极小值点被限制在曲线上，我们将称为可行域,解只能在这个可行域里取。如下图所示，曲线（黑色实曲线）经过无约束极小值点（黑点）附近。那么满足约束

约束条件

凸优化

转载 2018-04-11 12:00:47 6832 阅读 1点赞

数据预处理

各种数据分析技术的对象是数据源中的数据数据源中的数据可能不完整（如某些属性的值不确定或空缺）、含噪声和不一致（如同一个属性在不同表中的名称不同）、量纲不同如果直接在这些未经处理的数据上进行分析，结果不一定准确，效率也可能较低需要使用清理、集成、变换、归约等预处理方法改善数据质量，从而提高数据分析的效率与质量主要介绍数据清理、集成、变换、规约等预处理技术数据清理用于消除噪声、数据不一致及数据不完整噪

数据分析

数据

预处理

原创 2018-04-11 11:09:03 2190 阅读 2点赞

SVM推导过程

![](http://i2.51cto.com/images/blog/201804/10/73b43ef6a2165641d62973e73aec0f98.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3po

SVM

机器学习

原创 2018-04-10 16:51:53 2296 阅读 2点赞 1收藏

目标检测ssd等one stage算法中关于小目标识别问题的解决方法

考察很多算法包括yolossd等这一系列onestage的方法都不能解决检测时目标较小的问题，经过思考认为问题出在小目标的特征图和大目标不同上。有篇论文解决了这个问题，就是RSSD算法R是彩虹的意思表示将多个特征图相融合来作为分类标准。论文：EnhancementofSSDbyconcatenatingfeaturemapsforobjectdetection论文链接：https://arxiv.

目标检测

深度学习

计算机视觉

原创 2018-04-09 15:23:25 10000+阅读 2点赞 1收藏

可以不用人工打标制作目标检测数据集的方法

1、我们将样品的背景采用不反光的布料类似下图2、使用opencv中的阈值过滤方法提取其中的灰度值在指定范围内的部分3、使用腐蚀处理去除其中的干扰点4、提取图像中的轮廓点5、选取图中轮廓点的横纵最小最大坐标写入voc数据集中的xml文件中即可输入深度学习网络进行实验6、训练完目标检测网络之后识别效果如下图：代码请参考opencv_toturial一书

目标检测

深度学习

样本制作

opencv

原创 2018-04-09 15:10:26 10000+阅读 2点赞

目标跟踪的深度学习方法与 opencv实现kcf方法

目录概述31.1.背景31.2.目标跟踪问题描述31.3.目标跟踪测试数据集及性能评价标准4算法选型102.1.现有算法分类102.2.图像目标跟踪方法111.概述1.1.背景行为识别的前提是需要对人体目标进行识别和跟踪，现阶段我们已经通过使用开源人体姿态估计系统openpose实现了人体姿态识别，现在需要对人体目标进行跟踪判断视频后续画面中的人和前面画面中的对应关系。本文就现阶段计算机视觉目标跟

目标跟踪

深度学习

原创精选 2018-04-09 14:53:55 10000+阅读 2点赞 2收藏 6评论

强化学习在出行行业的应用等

1、公司要做一个模拟推演系统希望通过模拟得出几个结论一个城市到底需要多少个车才能满足客户需要并且能够控制每个车的流水如何做到智能调度个人觉得这个是个典型的强化学习的方法比如每个司机其实是个智能决策个体肯定希望能够更多的接到单也就是他的行驶路线会向乘客较多的地方靠近每个司机随着开车的时间变久就会发现哪里乘客比较多什么时候应该到哪里去等单这个时候他们就要判断自己往哪个方向开车如果我们取value=在某

强化

学习

应用等

原创 2018-04-03 16:16:15 1104 阅读 1点赞

科学不是战争

ScienceisNOTabattle,itisacollaboration.Weallbuildoneachother'sideas.Scienceisanactoflove,notwar.Loveforthebeautyintheworldthatsurroundsusandlovetoshareandbuildsomethingtogether.Thatmakesscienceahi

科学

转载 2018-03-26 08:21:54 898 阅读 1点赞

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

朝闻道

司机乘客匹配中的距离和最小问题

网约车智能派单方法

从强化学习到深度强化学习（下）

从强化学习到深度强化学习（上）

机器学习的特征究竟是什么

主流CTR预估模型的演化及对比

spark和hive storm mapreduce的比较

程序员不是修电脑的

人生中要经历的形式主义

隐马尔科夫模型与三个问题

词汇与分词技术

《NLP汉语自然语言处理原理与实践》结构图

人工智能在公司业务当中的应用

请稍微尊重一下知识

深度学习在推荐系统上的应用

推荐系统评测方法

为什么要做技术

如何通俗的理解极大似然估计

用scikit-learn学习主成分分析(PCA)

降维算法中的线性判别方法LDA

降维算法中的PCA方法

如何形象的理解贝叶斯公式

对约束条件优化问题的理解

数据预处理

SVM推导过程

目标检测ssd等one stage算法中关于小目标识别问题的解决方法

可以不用人工打标制作目标检测数据集的方法

目标跟踪的深度学习方法与 opencv实现kcf方法

强化学习在出行行业的应用等

科学不是战争

欢迎