一、环境准备
测试环境使用的cdh提供的quickstart vm
hadoop版本：2.5.0-cdh5.2.0
spark版本：1.1.0
二、Hello Spark
将/usr/lib/spark/examples/lib/spark-examples-1.1.0-cdh5.2.0-hadoop2.5.0-cdh5.2.0.jar 移
转载
2023-12-29 22:27:07
36阅读
做Spark也有段时间了，主要是平台方面的东西源码也改过些。不过总觉得还是应用才是王道，加上现在AI日趋火爆，抽点时间学习下SparkML吧。—前言我博客里SparkML系列的文章是基于Spark机器学习这本书(Nick Pentreath著),把每章重点和自己的一些感悟记录下。Spark的环境搭建与运行Spark支持4中运行模式本地单机模式: 在本机的一个JVM里构造的一个多线程版本的Spark
转载
2024-01-15 09:01:04
69阅读
Spark RDD操作1、Spark RDD转化操作2、Spark RDD行动操作3、惰性求值RDD 支持两种操作：转化操作和行动操作。RDD 的转化操作是返回一个新的RDD 的操作，比如map() 和filter()，而行动操作则是向驱动器程序返回结果或把结果写入外部系统的操作，会触发实际的计算，比如count() 和first()。Spark 对待转化操作和行动操作的方式很不一样，因此理解你正
转载
2024-02-22 11:18:52
4051阅读
--------------------------------------------------------------试读样章----------------------------------------------------------第 1 章 Scala 简介 第1 章 Scala 简介 “我是Scala，我是一个可扩展的、函数式的、面向对象的编程语言。我可以和你一起成长，也可 以
一.简介 协同过滤算法【Collaborative Filtering Recommendation】算法是最经典、最常用的推荐算法。该算法通过分析用户兴趣，在用户群中找到指定用户的相似用户，综合这些相似用户对某一信息的评价，形成系统关于该指定用户对此信息的喜好程度预测。二.步骤 1.收集用户偏好。 2.找到相似的用户或物品。 3.计算推荐。三.用户评分 从用户的行为和偏好中发现规律，并
转载
2023-11-25 19:57:28
283阅读
基于Spark通用计算平台，可以很好地扩展各种计算类型的应用，尤其是Spark提供了内建的计算库支持，像Spark Streaming、Spark SQL、MLlib、GraphX，这些内建库都提供了高级抽象，可以用非常简洁的代码实现复杂的计算逻辑、这也得益于Scala编程语言的简洁性。这里，我们基于1.3.0版本的Spark搭建了计算平台，实现基于Spark Streaming的实时计算。 我们
转载
2024-01-29 19:24:46
37阅读
全文共10887字，预计阅读时间70分钟。第二章 Spark入门介绍与基础案例1. 第一步：下载Apache Spark安装包 1.1 Spark的目录和文件2. 第二步：使用Scale或者PySpark Shell 2.1 使用本地机器3. 第三步：理解Spark应用的概念
转载
2023-08-15 18:15:20
292阅读
课程推荐 工具finalshell 3.9.4Anaconda3-2021.05-Linux-x86_64.shspark-3.2.0-bin-hadoop3.2.tgz3台虚拟机：hadoop集群node1,node2,node3conda命令# 查看虚拟环境列表
conda env list
# 删除虚拟环境pyspark_env
conda remove -n pyspark_env --a
转载
2024-01-11 20:06:00
59阅读
从50多分钟到3分钟的优化某推荐系统需要基于Spark用ALS算法对近一天的数据进行实时训练, 然后进行推荐. 输入的数据有114G, 但训练时间加上预测的时间需要50多分钟, 而业务的要求是在15分钟左右, 远远达不到实时推荐的要求, 因此, 我们与业务侧一起对Spark应用进行了优化.另外提一下, 该文最好与之前我
在技术日新月异的今天，如何实现高效的“自动推荐 spark”已经成为了许多企业迫切需要解决的问题。从提供个性化内容到精准推荐产品，数据驱动的推荐系统已经成为了企业数字化转型的基石。为了帮助大家更好地理解这个领域，我将从多个维度出发，深入探讨如何构建一个高效的自动推荐系统。
## 背景定位
推荐系统的历史可以追溯到上世纪90年代。当时，由于信息过载，用户需要系统帮助过滤和找到自己感兴趣的内容。随
在现代互联网中，个性化推荐系统（智能推荐）已成为提升用户体验的关键技术之一。本文将以“spark智能推荐”的实施过程进行详细阐述，涵盖环境准备、集成步骤、配置详解、实战应用、排错指南以及性能优化六大方面。
### 环境准备
在开始之前，需要确保所用的技术栈间的兼容性。以下是对不同版本之间的兼容性的总结：
| 组件 | 兼容版本 |
| ----------- | --
3.7 部署有一些用户可能已经拥有了部署系统，按用户所需的格式将所开发的模型导出即可。对于线性回归模型，MLlib支持将模型导出为预测模型标记语言（Predictive Model Markup Language，PMML)。更多关于MLlib导出PMML模型的信息，请访问：https://spark.apache.org/docs/latest/mllib-pmml-model-export.h
# 如何实现 Spark 镜像推荐
在当今大数据时代，推荐系统的应用越来越广泛。在这篇文章中，我们将详细介绍如何使用 Apache Spark 实现镜像推荐。本文将一步步引导你完成整个流程，希望能帮助刚入行的小白们理解和实现这一目标。
## 1. 项目流程概述
实现 Spark 镜像推荐的流程可以概括为以下几个主要步骤：
| 步骤 | 描述 |
|------|------|
| 1
# Spark版本推荐与使用指南
Apache Spark是一个开源的大数据处理框架，以其高效性和灵活性而闻名。它不仅支持大规模数据处理，还提供了丰富的机器学习和图形计算库。随着技术的不断发展，Spark的版本也在不断更新，每个版本都带来了新的特性和改进。本文将对Spark的版本进行推荐，并附上相应的代码示例，帮助用户更好地理解和使用Spark。
## Spark版本概述
在选择Spark版
# Spark推荐系统：构建个性化体验的利器
推荐系统是各大互联网平台（如电商、社交媒体、音乐和视频流服务等）广泛使用的技术，旨在根据用户的兴趣、偏好和行为向他们推荐相关的内容或产品。Apache Spark因其强大的并行计算能力和数据处理速度，成为构建推荐系统的热门框架之一。本文将探讨如何使用Spark构建一个基本的推荐系统，并通过代码示例展示其实现过程。
## 1. 推荐系统的工作原理
原创
2024-09-19 03:38:36
59阅读
# Spark：数据处理的巨星——推荐一些适合Spark的电影
Apache Spark 是一个开源的大规模数据处理框架，由于其高效的内存计算能力，已成为处理大数据的首选工具之一。在这个科普文章中，我将推荐一些与数据科学、机器学习和大数据相关的电影，这些电影不仅能激励你，也能对你理解数据处理的概念有所裨益。此外，我还会提供一些简单的代码示例，展示如何使用 Spark 进行数据处理。
## 1.
原创
2024-10-02 05:05:15
79阅读
前言之前也分享了不少自己的文章，但是对于 Flink 来说，还是有不少新入门的朋友，这里给大家分享点 Flink 相关的资料（国外数据 pdf 和流处理相关的 Paper），期望可以帮你更好的理解 Flink。书籍1、《Introduction to Apache Flink book》这本书比较薄，简单介绍了 Flink，也有中文版，读完可以对 Flink 有个大概的了解。2、《Learning
转载
2023-12-24 09:28:35
97阅读
继续上一篇学习spark 本次将介绍下如何利用mllib进行商品或者用户的推荐，具体用到的算法是ALS（交替二乘法）
推荐算法介绍 推荐算法可以分为：UserCF(基于用户的协同过滤)、ItemCF(基于商品的协同过滤)、ModelCF(基于模型的协同过滤)，具体介绍见：
spark中的协同过滤算法用的是ALS算法，叫做矩阵分解，其实就是补充二维矩阵中缺失的打分，
Spark A
转载
2024-02-07 09:24:41
193阅读
# 利用 Apache Spark 实现推荐系统的步骤
在这篇文章中，我将带你了解如何使用 Apache Spark 构建一个推荐系统。我们将主要使用 Spark MLlib 来实现，并通过一步步的方式来帮助你掌握整个流程。
## 整体流程
下面是建设推荐系统的一般步骤：
| 步骤 | 描述 |
# Spark ALS 推荐系统
## 引言
在现代社会中，人们面对大量的信息和选择，推荐系统成为帮助用户发现感兴趣内容的重要工具之一。推荐系统的目标是通过分析用户行为和兴趣，为用户提供个性化的推荐。Spark ALS（交替最小二乘法）是一种常用的协同过滤推荐算法，它在大规模数据集上高效地进行推荐。
本文将介绍Spark ALS算法的原理、实现和应用，并提供代码示例演示。
## Spark
原创
2023-09-14 20:36:13
57阅读
