原理 要做深度学习，肯定不能离开TensorFlow, MXNet之类的。 spark-deep-learning也是如此，尝试和Tensorflow进行整合。那么如何进行整合呢？ 我们知道Tensorflow其实是C++开发的，平时训练啥的我们主要使用python API。Spark要和TensorFlow 进行整合，那么有三种方式：走Tensorflow的Java API 走Tensorflo
spark 操作的几个步骤1 数据关联 textFile 和 parallelize2 转换操作（JavaRDD和JavaPairRDD他们可以通过mapToPair and flatMapToPair转换） 3 action操作，获取数据结果 一、wordcount的例子 //单词统计
pub
转载
2023-08-04 11:45:14
59阅读
0 相关源码将结合前述知识进行综合实战，以达到所学即所用。在推荐系统项目中，讲解了推荐系统基本原理以及实现推荐系统的架构思路，有其他相关研发经验基础的同学可以结合以往的经验，实现自己的推荐系统。1 推荐系统简介1.1 什么是推荐系统1.2 推荐系统的作用1.2.1 帮助顾客快速需求,节省时间1.2.2 大幅度提高销售量1.3 推荐系统的技术思想1.3.1 推荐系统是一种...
原创
2021-07-07 15:38:45
1735阅读
0 相关源码将结合前述知识进行综合实战，以达到所学即所用。在
原创
2022-03-14 14:34:24
1113阅读
1 概念2 安装3 RDDRDD包含两种基本的类型：Transformation和Action。RDD的执行是延迟执行，只有Action算子才会触发任务的执行。宽依赖和窄依赖用于切分任务，如果都是窄依赖，那么就可以最大化的利用并行。常用操作：
cache 缓存cartesian 笛卡尔积coalesce 重分区countByValue 分组统计distinct 去除重复filter 过滤flatM
转载
2017-06-14 19:03:00
113阅读
2评论
因本人刚开始写博客，学识经验有限，如有不正之处望读者指正，不胜感激；也望借此平台留下学习笔记以温故而知新。这个系列是机器学习实战一书的学习笔记，主要是基本算法的代码实现。机器学习实战 百度网盘链接：百度网盘-链接不存在提取码：qcht推荐指数：5颗星决策树的特点 优点：计算复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关特 征数据。 缺点：可能会产生过度匹配问题。 适用数据类型：
本书介绍随着机器学习算法越来越多地被用来寻找模式，进行分析和做出决策（有时可能会影
原创
2023-06-23 10:16:11
145阅读
作者：Adrian Rosebrock这是一篇手把手教你使用 Python 实现机器学习算法，并在数值型数据和图像数据集上运行模型的入门教程，当你看完本文后，你应当可以开始你的机器学习之旅了！本教程会采用下述两个库来实现机器学习算法：scikit-learnKeras此外，你还将学习到：评估你的问题准备数据(原始数据、特征提取、特征工程等等)检查各种机器学习算法检验实验结果深入了解性能最
0 相关源码将结合前述知识进行综合实战，以达到所学即所用。文本情
原创
2022-03-14 14:33:48
1057阅读
【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送--Spark入门实战系列》获取 1、MLlib实例 1.1 聚
转载
2016-11-08 11:33:00
222阅读
2评论
0 相关源码将结合前述知识进行综合实战，以达到所学即所用。文本情感分类这个项目会将分类算法、文本特征提取算法等进行关联，使大家能够对Spark的具体应用有一个整体的感知与了解。1 项目总体概况2 数据集概述数据集3 数据预处理4 文本特征提取官方文档介绍提取，转换和选择特征本节介绍了使用特征的算法，大致分为以下几组：提取：从“原始”数据中提取特征转换：缩放，转...
原创
2021-07-07 15:38:45
441阅读
1、MLlib实例1.1 聚类实例1.1.1 算法说明聚类（Cluster analysis）有时也被翻译为簇类，其核心任务是：将一组目标objec
转载
2023-08-10 11:09:01
60阅读
驱动任务：根据加州住房价格的数据集建立加州的房价模型数据集下载地址：https://pan.baidu.com/s/1it08eJ7a1ZGTTc7mHBZVzw?pwd=9n132.2 设计系统典型的有监督学习任务，已经给出了标记的训练示例（每个实例都有预期的产出，也就是该区域的房价中位数）。并且也是一个典型的回归任务，因为哟啊对某个值进行预测。选择性能指标回归问题的典型性能指标是均方根误差RM
转载
2023-08-22 20:46:31
459阅读
1.首先从图片的角度，对机器学习算法、实战有一个全面而感性的认识。 1.1 机器学习算法思维导图 1.2 监督学习经典模型树状图 1.3 Scikit-learn工具包使用网状图 1.4 监督学习流程图2.剖析监督学习流程图的每一个步骤(by code)。 2.1 原始数据收集 （1）导入本地数据：import pandas as pd
train = pd.read_csv('../Brea
今天发布一篇图片博客，看一下效果如何，如果效果，以后的博客尽量发图片上来。
机器学习实战 本系列博客源自于读《机器学习实战—中文版》这本书的学习笔记，用于日后翻阅、查看资料用。机器学习算法越来越受到人们的青睐，是由于这些算法在一定程度上可以达到智能的目的，比如人脸识别、图像文本分类等在一定程度上可以代替人工繁琐复杂的操作。《机器学习实战》这本书写的非常好，它并没有从理论的角度讲解机
一、机器学习：（1）有监督学习：（分类、回归）k-近邻、朴素贝叶斯、支持向量机、决策树 （2）无监督学习：（聚类、密度估计）k-均值、DBSCAN →如何选择？（1）预测目标变量的值：选择有监督学习&
转载
2023-07-28 14:13:07
62阅读
学习《机器学习实战-基于Scikit-Learn和TensorFlow》心得笔记#第3章 分类 刚开始学习机器学习，是导师推荐的书。遇到的困难可不是一般的多呐。都自闭了都。想着跟着打打代码总能学到点思路。但是第二章的数据是在别的网站上面下载的，我这种小学鸡真的搞不定，看了几天之后就跳过第二章想着第三章用的数据集是SKlearn提供的数据集，应该可以轻易获取了吧。可是现实给了我一记响亮的耳光。 跟着
本文讲述了朴素贝叶斯的原理，概率的计算方式，给出代码的详细解释，并最后给出代码的运行过程的总结，然后又用了两个实例来讲述朴素贝叶斯代码的计算过程
1.优缺点优点:在数据较少的情况下仍然有效，可以处理多类别问题。缺点:对于输入数据的准备方式较为敏感。适用数据类型:标称型数据2.朴素贝叶斯的一般过程(1) 收集数据:可以使用任何方法。本章使用RSS源。
(2)
该系列：整合了《机器学习实战》中的要点，适合理解概念之后当作笔记复习或者只喜欢看概念不喜欢看讲解的胖友。将代码改成了python3版本将单独成段的代码讲解以注释的方式与代码融合，方便阅读。机器学习基础概念训练集是用于训练机器学习算法的数据样本集合。目标变量是机器学习算法的预测结果，在分类算法中目标变量的类型通常是标称型的，而在回归算法中通常是连续型的。一般过程： 为了测试机器学习算法的效果，通常使
目录 机器学习基础什么是机器学习机器学习应用场景海量数据机器学习的重要性机器学习的基本术语监督学习和非监督学习监督学习：supervised learning非监督学习：unsupervised learning机器学习工具介绍Python非 PythonNumPy 函数库基础测试 Numpy 库测试 NumPy 库代码整合总结 机器学习基础什么是机器学习机器学习的基本术语监督学习和非监督学
转载
2023-08-23 11:22:32
0阅读
