necther的博客_python,大数据,Spark,对事物的理解,深度学习,大数据

四个问题，Yoshua等27位前沿研究者，这是一份NLP领域的请回答2018

今年9月份，深度学习Indaba2018峰会在南非斯泰伦博斯举办，包括谷歌大脑JeffDean在内的一众研究者都到场进行了分享。一位来自Insight数据分析研究中心的博士生SebastianRuder在准备自己的分享期间，就四个问题咨询了包括YoshuaBengio在内的20+位这个领域的前沿研究者。昨天，SebastianRuder在推特上公开了完整的20余份问答实录，以及他对这些答案相关的分

自然语言处理

转载 2018-12-21 09:26:09 763 阅读

六种人体姿态估计的深度学习模型和代码总结

姿态估计的目标是在RGB图像或视频中描绘出人体的形状，这是一种多方面任务，其中包含了目标检测、姿态估计、分割等等。有些需要在非水平表面进行定位的应用可能也会用到姿态估计，例如图形、增强现实或者人机交互。姿态估计同样包含许多基于3D物体的辨认。在这篇文章中，ModelZoo的作者汇总了几种开源的深度学习模型以及针对姿态估计的代码，论智对其进行了编译，如有遗漏请在评论中补充。DensePose创作这篇

深度学习

姿态估计

转载 2018-12-13 15:33:24 3317 阅读 1评论

再谈XGBoost原理

GBDT的核心就在于累加所有树的结果作为最终结果。分类树决策树的分类算法有很多，以具有最大熵的特征进行分类，以信息增益特征进行分类（ID3），以增益率特征进行分类（C4.5），以基尼系数特征进行分类（CART分类与回归树）等等。这一类决策树的特点就是最后的结果都是离散的具体的类别，比如苹果的好/坏，性别男/女。回归树回归树与分类树的流程大致一样，不同的是回归树在每个节点都会有一个预测值，以年龄为例

机器学习

原理

原创 2018-12-12 09:46:31 4091 阅读

核函数粗浅的理解

核函数的定义设\mathbb{X}是\mathbb{R}^n中的一个子集，称定义在\mathbb{X}\times\mathbb{X}上的函数k(x,y)是核函数，如果存在一个从\mathbb{X}到希尔伯特空间(特征空间)\mathbb{H}的映射\phi\\begin{aligned}\phi:\xi\mapsto\phi(\xi)\in\mathbb{H}\end{aligned}\使得对任

机器学习

转载 2018-12-11 15:52:48 1203 阅读

AI界的妖风

最近一篇文章https://zhuanlan.zhihu.com/p/50948707深度学习碰上古文献，西南大学提出基于CNN的古彝文识别方法我预计不久之后就会出现一个现象：不光有彝族文字识别，还有蒙文识别，藏文识别，苗文识别然后各位教授一起开一个学术研讨会议，会议上有个场景：藏文识别大师：哎呀，是满文识别大师刘教授，久仰久仰满文识别大师：哎呀，是藏文识别大师王教授，哪里哪里藏文识别大师：王教授

深度学习

AI

原创 2018-12-07 08:48:14 674 阅读

面试的时候你感觉受到尊重了吗？

案例一：技术面试问题过于简单，招致资深候选人反感某家创业公司的CTO离职，需要招一位新的CTO。一位资深候选人A到场面试，但由于公司暂时没有足够高阶的技术人员，技术面试官是由昔日CTO的下级担任的。几番一问一答下来，候选人逐渐失去了谈话的兴趣：「我当场就爆粗口了，觉得这面试官问的问题都很浅，技术能力比我还差的人有什么资格面试我呢？」资深职业顾问Summer表示，这类情况的确比较尴尬，但如果HR提前

面试

尊重

原创 2018-12-06 09:03:04 1580 阅读 1评论

Neo4j 底层存储结构分析

neo4j中节点和关系的物理存储模型neo4j存储模型Thenoderecordscontainonlyapointertotheirfirstpropertyandtheirfirstrelationship(inwhatisoftentermedthe_relationshipchain).Fromhere,wecanfollowthe(doubly)linked-listofrelation

图数据库

转载 2018-11-12 09:21:57 4835 阅读

如来佛祖与样本均衡的关系

为什么如来佛祖能够成佛其他的和尚却没有成佛的因为如来佛祖是王子出家已经体会过人世间的苦乐积累了足够的和较为较为均衡的正负样本从中悟出人生真谛很多人都是迫于生计或者逃避人生苦难遁入空门做不到放下一切所以难以成佛另外一个是心理阈值的问题如来佛祖的心理阈值是非常高的释迦牟尼是迦毗罗卫国的王子，他生活非常富足，父亲曾经修筑了春、夏、冬三个宫殿，从小锦衣玉食，可谓要风得风要雨得雨。对比很多出家人并没有完整享

人生

原创 2018-10-12 16:46:39 562 阅读

量化指标程序库 ta-lib 安装方法

TA-lib是一个技术分析库，里面包含了大部分主流的技术指标，让使用者不用再重复造轮子。这个库在国外很常用，各种大型的开源量化框架，都会内置这个库。计算速度快TA-lib的一个特点是计算速度快，因为原始版本是用C语言写的，然后通过Cython转化，使得Python也能调用。然后我在安装这个库的时候pipinstallta-lib发现了错误具体解决的操作过程如下先安装一个VS2013或者其他版本然后

量化

安装方法

原创 2018-10-09 20:22:14 2236 阅读

MV3D中环境配置，解决安装python shapely时缺少 geos库的问题

MV3D环境配置需要安装shapely库在pipinstallshapely的时候报错发现没有geos库先安装VS2013然后出现打开CMD下载geos库下载geos-3.5.0，放在d:\geos350中下载网站：http://trac.osgeo.org/geos/atuogen.batnmake/fmakefile.vc之后在src目录下生成将文件拷贝到system32目录然后安装pipin

环境

配置

原创 2018-10-08 10:32:20 4078 阅读

论文笔记：Mastering the game of Go with deep neural net

背景：完全信息博弈与MCTS算法要完全弄清AlphaGo背后的原理，首先需要了解一下AI在博弈游戏中常用到的蒙特卡洛树搜索算法——MCTS。在一个完全信息下的博弈游戏中，如果所有参与者都采取最优策略，那么对于游戏中的任意一个局面ss，总有一个确定性的估值函数v∗(s)v∗(s)可以直接计算出最终的博弈结果。理论上，我们可以通过构建一棵博弈树，递归地求解出v∗(s)v∗(s)。这就是Minimax算

算法

转载 2018-10-01 16:40:50 1898 阅读

如何配置mugo自动下围棋

mugo是一个开源围棋程序开源地址https://github.com/brilee/MuGo下载代码之后安装依赖注意安装gtp要使用命令pipinstallpygtp不是pipinstallgtp否则后来会报错显示没有engine然后下载棋谱https://u-go.net/gamerecords/下载下来之后放到一个目录执行pythonmain.pypreprocessdata这个data就是

人工智能

围棋

原创 2018-09-30 11:30:49 2916 阅读

如何计算用户在某个车站上下车，地图匹配方法

Python代码如下：输入经纬度和编码级别计算对应的geohash编码frommathimportlog10__base32='0123456789bcdefghjkmnpqrstuvwxyz'__decodemap={}foriinrange(len(__base32)):__decodemap[__base32[i]]=idelidefdecode_exactly(geohash):lat_i

算法

GIS

原创 2018-09-27 16:57:40 3147 阅读

终于，「最近邻搜索」有通用方法了

作者：KevinHartnett编译：Bing如果你打算开一家咖啡馆，你一定想知道：“附近最近的一家咖啡馆在哪？”了解这些信息有助于应对商业竞争。这种现象是计算机科学中广泛研究的问题，称为“最近邻搜索”。它的问题是，给定数据集和新的数据点，数据集中哪个数据离新数据点最近？这个问题出现的场景非常丰富，可以是基因搜索、图像查询，或者音乐推荐。但是最近邻问题并不像咖啡馆那么容易解决。过去几十年，很多计算

算法

转载 2018-08-16 08:46:15 2333 阅读

Python版本的谷歌S2空间索引算法

参考https://en.wikipedia.org/wiki/Hilbert_curvehilbert_map={'a':{(0,0):(0,'d'),(0,1):(1,'a'),(1,0):(3,'b'),(1,1):(2,'a')},'b':{(0,0):(2,'b'),(0,1):(1,'b'),(1,0):(3,'a'),(1,1):(0,'c')},'c':{(0,0):(2,'c')

算法

GIS

大数据

原创 2018-08-14 16:11:51 4373 阅读

简单的CNN文本分类

假设我们一句话有十个词，每个词语都可以用128维来表示，那么一句话就是一个10*128的矩阵图片。建立一个如下图的卷积神经网络：上面对这个图片进行卷积核大小分别为2、3、4的卷积计算形成feature_map最后通过softmax进行分类代码如下：#coding:utf-8importtensorflowastfimportnumpyasnpimportpickleclassTextCNN(obj

文本分类

算法

原创 2018-08-14 09:55:12 5248 阅读

如何学习word2vec

在word2vec之前所有的词汇表示都是用onehot表示类似man这个单词如下表示他把每个词语孤立起来，该网络如果想在下面一个句子中填入一个单词，就不会根据apple联想到orange所以就希望能够使用向量化的方式来表示单词：这样Apple和Orange就会有相似的地方，在这个特征空间内会距离比较近。而且还有这样的特性：如何学习到这个词嵌入矩阵：我们建立一个神经网络像上图那样用前面几个词预测后面

算法

词向量

人工智能

自然语言处理

原创 2018-08-14 09:08:17 1601 阅读

日本国宝级匠人新津春子

日本东京的羽田机场，已经连续很多年蝉联“世界上最干净的机场”。这里几乎一尘不染，就连吸烟室里的每个烟缸，都闪得发亮，洗手间更是没有任何异味。在这背后，要归功于一位清洁女工——新津春子。她的身份虽然只是普通的机场清洁工，但兢兢业业做了几十年，一直做到日本“国宝级匠人”，并且成为无数主妇心目中的偶像。可能对大部分人来说，清洁工是个没什么技术含量的体力活，往往被视为社会弱势底层。但新津春子凭借一己之力，

学习做人

原创 2018-08-11 11:42:23 4809 阅读

出家如初，成佛有余

俗语说，学佛一年，佛在心间，学佛二年，佛在眼前，学佛三年，佛在天边！随着时间的推移，人们向道之心，越来越淡薄，相反，如能始终如一，努力不懈，用功修炼，则道业可成！

做人

原创 2018-08-10 16:21:23 4156 阅读 1评论

PEP8 python编码规范

Introduction介绍AFoolishConsistencyistheHobgoblinofLittleMinds尽信书则不如无书Codelay-out代码布局Indentation缩进TabsorSpaces制表符还是空格MaximumLineLength行的最大长度Shouldalinebreakbeforeorafterabinaryoperator在二元运算符之前应该换行吗Blank

编码规范

转载 2018-08-10 10:05:32 1224 阅读 1评论

python spark windows pycharm pyspark环境配置

1、下载如下放在D盘添加SPARK_HOME=D:\spark-2.3.0-bin-hadoop2.7。并将%SPARK_HOME%/bin添加至环境变量PATH。然后进入命令行，输入pyspark命令。若成功执行。则成功设置环境变量找到pycharmsitepackage目录右键点击即可进入目录，将上面D:\spark-2.3.0-bin-hadoop2.7里面有个/python/pyspark

环境配置

pycharm

pyspark

原创 2018-08-09 17:38:07 8799 阅读 1收藏

kaggle中zillow比赛中模型融合的方法及其代码

在机器学习这个领域，尤其是做多媒体（声音、图像、视频）相关的机器学习方法研究，会涉及很多特征、分类模型（分类任务）的选择。以声音识别为例，常见的特征有MFCC、LPCC、spectrogram-likefeatures等，分类模型就很多了，有传统的分类模型SVM、KNN、RandomForest，还有现在比较火的深度模型DNN、CNN、RNN等。而往往单特征、单模型很难取得理想的性能（perfor

算法

机器学习

原创 2018-08-09 15:21:33 10000+阅读

gbdt+lr代码

importnumpyasnpnp.random.seed(10)importmatplotlib.pyplotaspltfromsklearn.datasetsimportmake_classificationfromsklearn.linear_modelimportLogisticRegressionfromsklearn.ensembleimport(RandomTreesEmbeddin

算法

机器学习

原创 2018-08-09 15:07:49 3726 阅读

一文理解矩阵特征值、特征向量、矩阵分解、pca、svd的来龙去脉

1、如何理解矩阵特征值：https://www.zhihu.com/question/218748162、奇异值比特征值更能反应矩阵的特性吗：https://www.zhihu.com/question/499591303、特征值与特征向量：https://zhuanlan.zhihu.com/p/295178284、SVD：https://zhuanlan.zhihu.com/p/2580147

算法

转载 2018-08-08 11:10:03 10000+阅读 1收藏 1评论

算法

Python

原创 2018-08-08 10:34:48 7001 阅读

如何理解EM算法

如果使用基于最大似然估计的模型，模型中存在隐变量，就要用EM算法做参数估计。个人认为，理解EM算法背后的idea，远比看懂它的数学推导重要。idea会让你有一个直观的感受，从而明白算法的合理性，数学推导只是将这种合理性用更加严谨的语言表达出来而已。打个比方，一个梨很甜，用数学的语言可以表述为糖分含量90%，但只有亲自咬一口，你才能真正感觉到这个梨有多甜，也才能真正理解数学上的90%的糖分究竟是怎么

算法

转载 2018-08-08 09:14:01 859 阅读

探索车险未来方向，2018平安产险数据建模大赛圆满落幕，获得第五名

前段时间一直忙于参加这个比赛，最后成绩第五名。8月3日，由平安产险精算部和AI部合作运营的“2018平安产险数据建模大赛”决赛在深圳圆满落幕。平安产险董事长兼CEO孙建平，平安产险常务副总经理史良洵，平安集团首席科学家肖京，平安产险副总经理梁小英，平安产险总经理助理周克俊，平安产险总经理助理顾青山，香港科技大学计算机系主任杨强，中科院计算所副所长程学旗，清华大学信息技术院副院长邢春晓等嘉宾出席决赛

算法

原创 2018-08-07 16:27:44 1383 阅读 1评论

转载《流形学习》

流形学习(manifoldlearning)zzfromprfans...............................dodo：流形学习(manifoldlearning)dodo流形学习是个很广泛的概念。这里我主要谈的是自从2000年以后形成的流形学习概念和其主要代表方法。自从2000年以后，流形学习被认为属于非线性降维的一个分支。众所周知，引导这一领域迅速发展的是2000年Scie

机器学习

转载 2018-08-04 16:31:33 840 阅读 1评论

关于机器学习的领悟与反思

作者介绍张志华北京大学数学学院教授，北京大数据研究院高级研究员。曾在浙江大学和上海交通大学计算机系任教。主要从事机器学习与应用统计等领域的教学与科研工作。◆◆◆◆近年来，人工智能的强势崛起，特别是去年AlphaGo和韩国九段棋手李世石的人机大战，让我们深刻地领略到了人工智能技术的巨大潜力。数据是载体，智能是目标，而机器学习是从数据通往智能的技术、方法途径。因此，机器学习是数据科学的核心，是现代人工

人工智能

机器学习

算法

转载 2018-07-26 15:03:07 692 阅读 1评论

Kaggle技巧总结

Kaggle技巧总结Introduction首先简单介绍一些关于Kaggle比赛的知识：不同比赛有不同的任务，分类、回归、推荐、排序等。比赛开始后训练集和测试集就会开放下载。比赛通常持续2~3个月，每个队伍每天可以提交的次数有限，通常为5次。比赛结束前一周是一个Deadline，在这之后不能再组队，也不能再新加入比赛。所以想要参加比赛请务必在这一Deadline之前有过至少一次有效的提交。

机器学习

算法

kaggle

原创 2018-07-18 09:40:39 4660 阅读 1收藏

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

朝闻道

四个问题，Yoshua等27位前沿研究者，这是一份NLP领域的请回答2018

六种人体姿态估计的深度学习模型和代码总结

再谈XGBoost原理

核函数粗浅的理解

AI界的妖风

面试的时候你感觉受到尊重了吗？

Neo4j 底层存储结构分析

如来佛祖与样本均衡的关系

量化指标程序库 ta-lib 安装方法

MV3D中环境配置，解决安装python shapely时缺少 geos库的问题

论文笔记：Mastering the game of Go with deep neural net

如何配置mugo自动下围棋

如何计算用户在某个车站上下车，地图匹配方法

终于，「最近邻搜索」有通用方法了

Python版本的谷歌S2空间索引算法

简单的CNN文本分类

如何学习word2vec

日本国宝级匠人新津春子

出家如初，成佛有余

PEP8 python编码规范

python spark windows pycharm pyspark环境配置

kaggle中zillow比赛中模型融合的方法及其代码

gbdt+lr代码

一文理解矩阵特征值、特征向量、矩阵分解、pca、svd的来龙去脉

如何快速绘制相关系数矩阵

如何理解EM算法

探索车险未来方向，2018平安产险数据建模大赛圆满落幕，获得第五名

转载《流形学习》

关于机器学习的领悟与反思

Kaggle技巧总结

欢迎