Python Spark 机器学习（二）主要是MLlib包(基于RDD)和ml包(基于DataFrame)的使用上篇文章中我们使用了MLlib，这次我们使用ml包。Python Spark ML 决策树二元分类通过Kaggle上一个题目来实践： StumbleUpon Evergreen Classification Challenge该题目内容是判断一个网页内容是暂时性的(ephemeral)还
转载
2024-07-15 17:20:18
64阅读
# 如何使用Spark机器学习库（MLlib）
在当前的数据驱动时代，Apache Spark成为了处理大数据的首选工具之一。Spark的MLlib是其机器学习库，为开发者提供了丰富的机器学习算法和工具。在本篇文章中，我们将带你了解如何使用Spark的MLlib进行机器学习的基本流程。
## 整体流程
在进行机器学习项目时，我们通常遵循以下步骤：
| 步骤 | 描述
K-Means聚类算法原理聚类分析是一个无监督的学习的过程，一般用来对数据对象按照其特征属性进行分组。适用场景：客户分群、欺诈检测、图像分析等领域K-Means算法是一个迭代式算法，主要步骤如下：第一步，选K个点作为初始聚类中心。第二步，计算其余所有点到聚类中心的距离，并把每个点划分到离它最近的聚类中心所在的聚类中去。第三步，重新计算每个聚类中所有点的平均直，并将其作为新的聚类中心点。最后，重复
1、一个论文结论：179种不同的分类学习方法（分类学习算法）在121个数据集上的性能，发现Random Forest（随机森林）和SVM（支持向量机）分类准确率最高，在大多数情况下超过其他方法。 http://blog.sina.com.cn/s/blog_7ad48fee0102vb9c.html
原创
2021-07-26 15:35:57
240阅读
如果你不是数学系的，就不要看这个了。 由于下面内容是用来证明机器学习的方法的正确性，你能够用机器学习来得到你想要的结果。然而对于编程或者使用这种方法的人来说，你仅仅要放心大胆地用即可了。就像你知道1+1=2，你并不须要知道它为什么等于，反正你能够用。 下面使用到的图片来自上海交大杨旸老师的课件。网址
转载
2018-04-04 10:58:00
314阅读
这篇博文深入探索了机器学习的核心概念和"没有免费的午餐"定理（NFL）的深刻内涵。我们通过比喻西瓜数
原创
2023-10-16 09:47:11
0阅读
这篇博文深入探索了机器学习的核心概念和"没有免费的午餐"定理（NFL）的深刻内涵。我们通过比喻西瓜数据，介绍了机器学习的基本术语，从数据集到特征向量，从训练样本到泛化能力，从分类到回归。而后，我们引用NFL定理，阐释了其在人生中的重要启示，指引我们在差距感和个人发展中保持积极态度。就如算法在不同问题中表现出差异一样，每个人在不同领域都能闪耀光芒。在机器学习的世界和人生的征途中，我们应以持续学习、勇于尝试和不懈努力为伴，用智慧和勇气开创无限可能。
原创
2023-08-22 09:31:43
129阅读
目录5.SparkMLlib决策树算法5.1决策树算法5.2 算法源码分析5.3应用实战5.3.1 数据说明5.3.2 代码详解 5.SparkMLlib决策树算法5.1决策树算法决策树DecisionTree的结构是树型的，由节点和有向边组成。节点由内部节点和叶子节点组成，内部节点表示一个特征的度量，叶子节点表示一个具体的分类，每个分支表示度量的输出结果。决策树算法采用的是自顶向下的递归方法，
转载
2023-10-26 15:01:18
102阅读
徐海蛟 Teaching.考虑一个随机变量X，如果给出X的一系列独立同分布的观察值，那么如何由这些观察值来估计出X的密度函数P（X）？这就是密度估计问题。概率分布可分为参数分布和非参数分布。参数分布函数是由一些参数控制的，比如高斯分布中平均值和方差，用参数分布的方法去估计密度时，必须确定合适的参数。从频率论来看，可用极大似然函数来确定参数；而从贝叶斯论来看，需要引入共轭先验，它使得后验
翻译
精选
2016-09-14 14:14:26
1183阅读
点赞
1、机器学习所研究的主要内容，是关于在计算机上从数据中产生“模型（model）”的算法，即学习算法（learningalgorithm）。有了学习算法，我们把经验数据提供给它，它就能基于这些数据产生模型；在面对新的情况时，模型会给我们提供相应的判断。可以说，机器学习是研究关于“学习算法”的学问。2、学得模型适用于新样本的能力，称为泛化（generalization）能力。具有强泛化能力的模型能够很
原创
2020-11-15 01:15:24
812阅读
作者：呆呆授权一本名为Foundations of Machine Learning（《机器学习基础》）的课
转载
2022-04-20 21:26:22
154阅读
1…/onekey文件中让SPARK使用激光雷达进行导航的代码#让SPARK使用激光雷达进行导航
spark_navigation_2d(){
echo -e "${Info}"
echo -e "${Info}让SPARK使用激光雷达进行导航"
PROJECTPATH=$(cd `dirname $0`; pwd)
source ${PROJECTPATH}/devel/setup.
转载
2021-05-24 17:29:07
83阅读
这个题目是Kaggle上一道练习题，网址为https://www.kaggle.com/c/titanic，在官方教程中，提供了R，Python，Excel的解决方法。最近在学习Spark，感觉这个题目可以很好地练习Spark的相关模块，例如SQL，ML等。所以写下了这个博客来记录这个解决方法的流程，这个解决方法只是比较粗略的，没有再持续地改进，包括特征选取，参数选择等等。本篇博文主要是来熟悉Sp
转载
2024-09-25 12:33:48
89阅读
参考翻译，有大量删除和修改，如有异议，请拜访原文。一定要看英文原文！！！。 本文转载于：深度译文：机器学习那些事 英文【原题】A Few Useful Things to Know About Machine Lear...
转载
2016-12-14 10:08:00
252阅读
2评论
由于D是D的独立同分布采样，因此h hh的经验误差的期望等于其泛化误差。令ϵ为E ( h ) 的上限，即E ( h ) ≤ ϵ E(h)；我们是希望
原创
2023-12-01 11:57:31
109阅读
（）本博文为 spark机器学习 第5章学习笔记。 所用数据下载地址为：实验数据集train.tsv各列的数据意义为： “url” “urlid” “boilerplate” “alchemy_category” “alchemy_category_score” “avglinksize” “commonlinkratio_1” “commonlinkratio_2” “commonlinkr
转载
2023-10-20 19:08:43
71阅读
本章节以概念介绍为主，计算学习理论为了研究通过“计算”来进行“学习”的理论，即研究机器学习的理论基础，目标是分析学习任务的困难本质，为学习算法提供理论保证，并根据分析结果指导算法的设计。
转载
2021-07-09 10:12:30
423阅读
习理论（computational learning theory）是通过“计算”来研究机器“学习“的理论，其目的是分析学习任务的困难本质。例如：在什么条件下可进行有效的学习，需要多少训练样本能获得较好的精度等，从而为机器学习算法提供理论保证。几个基本概念回顾：泛化误差：学习器在总体上...
原创
2023-06-27 20:13:35
217阅读
一般的机器学习都假设训练集和测试集来自同一分布，但实际上在大多数情况下，我们有带标签的源域数据集（目标域不带标签，或者很少部分带标签），希望能训练一个分类器在一个分布不同的目标域上也能取得很好的泛化能力，这就是domain adaptation领域自适应（以下简称DA）。在什么情况下我们能调整一个在源域上训练的分类器，使其能用在目标域上？从直觉上想，一个好的特征表示是关键因素。这篇文献从理论上形式
原创
2021-12-04 18:56:13
530阅读
参考链接： 角度高图-概述2019独角兽企业重金招聘Python工程师标准>>> 机器学习理论篇1：机器学习的数学基础 一、概述 我们知道，机器学习的特点就是：以计算机为工具和平台，以数据为研究对象，以学习方法为中心；是概率论、线性代数、数值计算、信息论、最优化理论和计算机科学等多个领域的交叉学科。所以本文就先介绍一下机器学习涉及到的一些最常用的的
转载
2021-02-14 14:15:33
245阅读
