wbj0110的博客_机器学习

语义分析的一些方法(一)(转)

语义分析，本文指运用各种机器学习方法，挖掘与学习文本、图片等的深层次概念。wiki

机器学习

语言模型

语义分析

数据

转载 2023-07-31 10:46:18 25 阅读

Naive Bayes text classification

The first supervised learning method we introduce is the

机器学习

ide

sed

html

原创 2023-07-26 10:32:00 36 阅读

分类算法之朴素贝叶斯分类(Naive Bayesian classification)

1.1、摘要贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定

机器学习

朴素贝叶斯

待分类

数据

原创 2023-07-26 10:31:00 80 阅读

mahout

preface 运行自带的例子来进行测试第1章使用kmeans算法实例 (1)http://archive.ics.uci.edu/ml/databases/synthetic_control/synthetic_control.data点击链接,下载数据集synthetic_control.data。将数据集synthetic_control.data放到MAHOUT_HOME目录下面

机器学习

hadoop

聚类

apache

原创 2023-07-24 18:06:59 101 阅读

决策树算法总结

参考：《机器学习》Tom版以及一、简介决策树是一个预测模型；他代表的是对象属性与对象值之间的一种映射关系。树中每个节点表示某个对象，而每个分叉路径则代表的某个可能的属性值，而每个叶结点则对应从根节点到该叶节点所经历的路径所表示的对象的值。决策树仅有单一输出，若欲有复数输出，可以建立独立的决策树以处理不同输出。数据挖掘中决策树是一种经常要用到的技术，可以用于分析数据，同样也可以用来作预测（就像上

机器学习

信息增益

决策树

结点

原创 2023-07-24 17:53:27 56 阅读

Comparing Document Classification Functions of Lucene and Mahout

Starting with version 4.2, Lucene provides a document classification functne and Mahout to ...

机器学习

sed

analyzer

Hadoop

原创 2023-07-24 17:50:53 25 阅读

智能推荐系统开发中的十个关键注意点

亚马逊的CEO Jeff Bezos曾经说过，他的梦想是“如果我有100万个用户，我就要为他们做100万个方法被提出，很多技术难题被攻克。在今天的互联网应用中，越来越...

机器学习

推荐系统

数据

显式

原创 2023-07-24 17:49:51 62 阅读

机器学习

lua

ide

java

原创精选 2023-07-24 17:48:12 238 阅读

Apache Mahout 简介

当研究院和企业能获取足够的专项研究预算之后，能从数据和用户输入中学习的智能应用程序将变得更加常见。人们对机器学习技巧（比如说集群、协作筛选和分类）的需求前所未有地增长，无论是查找一大群人的共性还是自动标记海量 Web 内容。Apache Mahout 项目旨在帮助开发人员更加方便快捷地创建智能应用程序。Mahout 的基本概念，并演示了...

机器学习

java

数据

原创 2023-07-24 17:41:46 214 阅读

隐马尔可夫模型

百科马尔科夫模型隐马尔科夫模型隐马尔可夫模型 (Hidden Markov Model，HMM) 最初由 L. E. Baum 和其它一些学者发表在一系

机器学习

前向算法

最优路径

状态转移

原创 2023-07-24 17:39:54 25 阅读

使用mahout fpgrowth算法求关联规则

o...

机器学习

hadoop

apache

ide

原创 2023-06-06 13:17:27 97 阅读

使用mahout做海量数据关联规则挖掘

大象上的侠士必然需要一头雄纠纠的大象，不过本文不解绍大象hadoop，所以我假定已经安装好了hadoop，关于h...

机器学习

hadoop

关联规则

数据

原创 2023-06-06 13:16:42 103 阅读

关联规则二项集hadoop实现

近期看mahout的关联规则源码，颇为头痛，本来打算写一个系列分析关联规则的源码的，但是后面看到有点乱了，可能是稍微有点复杂吧，所以就打算先实现最简单的二项集关联规则。算法的思想还是参考上次的图片：这里实现分为五个步骤：针对原始输入计算每个项目出现的次数；按出现次数从大到小（排除出现次数小于阈值的项目）生成frequence list file;针对原始输入的事务进行按frequence list

机器学习

apache

hadoop

java

原创 2023-06-06 13:15:45 94 阅读

mahout源码分析之贝叶斯算法

整个流程包括数据处理部分和分类算法部分。数据处理部分对语料库进行处理生成算法能执行的标准格式。分类算法部分的实现被分作三个部分：训练器（The Trainer）、数据模型（The Model）、分类器（The Classifier）。数据预处理PrepareTwentyNewsgroups for(dir in categoryDirectorys) BayesFil

机器学习

数据

子目录

先验概率

原创 2023-06-05 13:02:22 19 阅读

奇异值分解SVD应用——LSI

潜在语义索引（Latent Semantic Indexing）是一个严重依赖于SVD的算法，本文转载自之前吴军老师《数学之美》和参考文献《机器学习中的数学》汇总。————————————在自然语言处理中，最常见的两类的分类问题分别是，将文本按主题归类（比如将所有介绍亚运会的新闻归到体育类）和将词汇表中的字词按意思归类（比如将各种体育运动的名称个归成一类）。这两种分类问题都可用通过矩阵运算来圆满地

机器学习

奇异值分解

Google

并行计算

原创 2023-06-05 13:01:24 115 阅读

关联规则挖掘基本概念与Aprior算法

关联规则挖掘在电商、零售、大气物理、生物医学已经有了广泛的应用，本篇文章将介绍一些基本知识和Aprori算法。　啤酒与尿布的故事已经成为了关联规则挖掘的经典案例，还有人专门出了一本书《啤酒与尿布》，虽然说这个故事是哈弗商学院杜撰出来的，但确实能很好的解释关联规则挖掘的原理。我们这里以一个超市购物篮迷你数据集来解释关联规则挖掘的基本概念：表中的每一行代表一次购买清单（注意你购买十盒牛奶也只计一次，即

机器学习

频繁项集

关联规则

List

原创 2023-06-05 13:00:45 119 阅读

关联规则评价

前面我们讨论的关联规则都是用支持度和自信度来评价的，如果一个规则的自信度高，我们就说它是一条强规则，但是自信度和支持度有时候并不能度量规则的实际意义和业务关注的兴趣点。一个误导我们的强规则看这样一个例子，我们分析一个购物篮数据中购买游戏光碟和购买影片光碟之间的关联关系。交易数据集共有10,000条记录，其中购买6000条包含游戏光碟，7500条包含影片光碟，4000条既

机器学习

ide

数据集

数据

原创 2023-06-05 12:17:46 88 阅读

贝叶斯方法的m-估计

为什么要有m-估计？当我们通过在全部事件的基础上观察某事件出现的比例来估计概率时，例如：P=nc/n.，其中nc为该类别中的样本数量，n为总样本数量。若n=5，当P=0.6时，则nc为3。多数情况下该比例是对概率的一个良好的估计。但当nc很小时估计会较差，例如：P=0.08，样本中同样有5个样例，那么对于nc最可能的取值只有0,。这会导致两个问题：1、nc/n产生了一个有偏的过低估计概率。2、当此

机器学习

取值

.net

贝叶斯公式

原创 2023-06-05 12:17:17 121 阅读

决策树分类算法

介绍分类问题，主要介绍决策树算法、朴素贝叶斯、支持向量机、BP神经网络、懒惰学习算法、随机森林与自适应增强算法、分类模型选择和结果评价。总共7篇，欢迎关注和交流。　　这篇先介绍分类问题的一些基本知识，然后主要讲述决策树算法的原理、实现，最后利用决策树算法做一个泰坦尼克号船员生存预测应用。一、分类基本介绍　　物以类聚，人以群分，分类问题只古以来就出现我们的生活中。分类是数据挖掘中一个重要的分支，在各

机器学习

结点

数据

数据集

原创 2023-05-12 21:57:52 154 阅读

Best Machine Learning Resources for Getting Started

This was a really hard post to write because I want it to be really valuable. I sat down with a

机器学习

Machine

ide

ci

原创 2023-05-12 21:37:01 62 阅读

Mahout – 机器学习

wget http://mirrors.ustc.edu.cn/apache/mahout/0.8/mahout-distribution-0.8.tar.gztar -xzvf mahout-distribution-0.8.tar.gzcd mahout-distribution-0.8sudo vi增加： expor

Mahout – 机器学习

Mahout

机器学习

apache

聚类

原创 2023-05-12 16:28:48 74 阅读

语义分析的一些方法(二)

2 文本语义分析前面讲到一些文本基本处理方法。一个文本串，对其进行分词和重要性打分后（当然还有更多的文本处理任务），就可以开始更高层的语义分析任务。2.1 Topic Model首先介绍主题模型。说到主题模型，第一时间会想到pLSA，NMF，LDA。关于这几个目前业界最常用的主题模型，已经有相当多的介绍了，譬如文献[60，64]。在这里，主要想聊一下主题模型的应用以及最新进展(考虑...

人工智能

数据结构与算法

大数据

词向量

卷积

原创 2023-05-06 14:12:16 360 阅读

Confusion Matrix

A confusion matrix (Kohavi and Provost, 19

机器学习

sed

lua

ide

原创 2023-03-28 22:54:28 115 阅读

算法杂货铺——分类算法之决策树(Decision tree)

3.1、摘要在前面两篇文章中，分别介绍和讨论了朴素贝叶斯分类与贝叶斯网络两种分类算法。这两种算法都以贝叶斯定理为基础，可以对分类及决策问题进行概率推断。在这一篇文章中，将讨论另一种被广泛使用的分类算法——决策树（decision tree）。相比贝叶斯算法，决策树的优势在于构造过程不需要任何领域知识或参数设置，因此在实际应用中，对于探测

机器学习

决策树

信息增益

元组

原创 2023-03-28 14:43:26 103 阅读

关联规则FpGrowth算法

通过构造一个树结构来压缩数据记录，使得挖掘频繁项集只需要扫描两次数据记录，而且该算法不需要生成候...

机器学习

结点

频繁项集

数据集

原创 2023-03-28 14:40:15 56 阅读

关联分析(购物篮)与R语言

世界上的万事万物

机器学习

ide

关联分析

数据

原创 2023-03-28 14:39:25 44 阅读

决策树算法

机器学习中，决策树是一个预测模型；它代表的是对象属性值与对象值之间的一

机器学习

决策树

子树

子节点

原创 2023-03-28 09:59:35 70 阅读

分类算法评价

一、引言　　分类算法有很多，不同分分类算法又用很多不同的变种。不同的

机器学习

正例

评价指标

分类算法

原创 2023-03-28 09:56:37 41 阅读

mahout关联规则源码分析 Part 1

最近看了关联规则的相关算法，着重看了mahout的具体实现，mahout

机器学习

apache

hadoop

java

原创 2023-03-28 09:52:19 47 阅读

朴素贝叶斯分类

贝叶斯定理英国数学家贝叶斯（Thomas Bayes）曾经给出如下定理： P(A)表示A事件发生的概率，P(B)表示B事件发生的

机器学习

待分类

朴素贝叶斯

取值

原创 2023-03-28 06:56:05 165 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

语义分析的一些方法(一)(转)

Naive Bayes text classification

分类算法之朴素贝叶斯分类(Naive Bayesian classification)

mahout

决策树算法总结

Comparing Document Classification Functions of Lucene and Mahout

智能推荐系统开发中的十个关键注意点

Mahout构建图书推荐系统

Apache Mahout 简介

隐马尔可夫模型

使用mahout fpgrowth算法求关联规则

使用mahout做海量数据关联规则挖掘

关联规则二项集hadoop实现

mahout源码分析之贝叶斯算法

奇异值分解SVD应用——LSI

关联规则挖掘基本概念与Aprior算法

关联规则评价

贝叶斯方法的m-估计

决策树分类算法

Best Machine Learning Resources for Getting Started

Mahout – 机器学习

语义分析的一些方法(二)

Confusion Matrix

算法杂货铺——分类算法之决策树(Decision tree)

关联规则FpGrowth算法

关联分析(购物篮)与R语言

决策树算法

分类算法评价

mahout关联规则源码分析 Part 1

朴素贝叶斯分类