一、伪分布安装Spark 安装环境： Ubuntu 14.04 LTS 64位+Hadoop2.7.2+Spark2.0.0+jdk1.7.0_76
linux下的第三方软件应该安装在/opt目录下，约定优于配置，遵循这一原则是良好的环境配置习惯。所以这里安装的软件都在/opt目录下。
1、安装jdk1.7
（1）下载jdk-7u76-linux-x64.tar.gz；
转载
2024-01-08 12:44:05
54阅读
环境说明centos 7.5spark-2.1.1Spark 内置模块Spark local 模式安装直接解压即可，无需配置（spark-2.1.1-bin-hadoop2.7.tgz 集成hadoop环境包 ）local 模式下测试# 提交任务 使用spark案例 计算pi
bin/spark-submit --master local[20] \
--class org.apache.spar
转载
2023-10-16 02:32:26
86阅读
Hadoop HA高可用+Zookeeper搭建简介本篇介绍在VMware+CentOS 7.4环境上搭建Hadoop HA+Zookeeper。Hadoop集群分布如下：编号主机名namenode节点zookeeper节点journalnode节点datanode节点resourcemanager节点1master1√√√√2master2√√√√3slave1√√√4slave2√使用软件版本
转载
2023-08-21 10:35:56
73阅读
ZooKeeper 是一个面向分布式系统的构建块。当设计一个分布式系统时，一般需要设计和开发一些协调服务：名称服务— 名称服务是将一个名称映射到与该名称有关联的一些信息的服务。电话目录是将人的名字映射到其电话号码的一个名称服务。同样，DNS 服务也是一个名称服务，它将一个域名映射到一个 IP 地址。在分布式系统中，您可能想跟踪哪些服务器或服务在运行，并通
到 Github 下载支持 Hadoop 2.5 及其之前版本的 Spark 2.2.1 ：https://github.com/397090770/spark-2.2-for-hadoop-2.2Apache Spark 2.2.0 于今年7月份正式发布，这个版本是 Structured Streaming 的一个重要里程碑，因为其可以正式在生产环境中使用，实验标签（expe
转载
2024-06-12 00:17:26
13阅读
文章目录0 案例实操一. 序列化二. 闭包 closure三. 序列化3.1 Kryo序列化框架三. 依赖关系NarrowDependency 窄依赖ShuffleDependency 宽依赖Dependency总结 0 案例实操统计每一个省份每个广告被点击数量排行TOP 把省份 ，广告 包在一起转换一下，把省份单独列出来（河北省，bbb）,2 ----------->
Win10 Hadoop2.7.1+Spark2.2.0+Scala2.11.11 环境搭建与测试一、文件准备1.apache-maven-3.2.5.zip说明：用于构建Maven项目链接：https://pan.baidu.com/s/1t3o3d-20dC7rUrV3fQSPPA bd
一、RDD依赖关系
### --- RDD依赖关系
~~~ RDD只支持粗粒度转换，即在大量记录上执行的单个操作。
~~~ 将创建RDD的一系列Lineage(血统)记录下来，以便恢复丢失的分区。
~~~ RDD的Lineage会记录RDD的元数据信息和转换行为，
~~~ 当该RDD的部分分区数据丢失时，可根据这些信息来重新运算和恢复丢失的
转载
2023-12-25 23:19:24
41阅读
2分钟读懂Hadoop和Spark的异同2016.01.25 11:15:59 来源: 51cto 作者:51cto ( 0 条评论 ) 谈到大数据，相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上，并没有对它们进行深入的思考，下面不妨跟我一块看下它们究竟有什么异同。解
转载
2024-08-02 14:35:16
13阅读
之前就听说过这玩意，花点时间安装了一下，现在分享给大家。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学
转载
2024-05-30 00:17:37
49阅读
Spark其实是Hadoop生态圈的一部分，需要用到Hadoop的HDFS、YARN等组件。为了方便我们的使用，Spark官方已经为我们将Hadoop与scala组件集成到spark里的安装包，解压开箱即可使用，给我们提供了很大的方便。如果我们只是本地学习的spark，又不想搭建复杂的hadoop集群，就可以使用该安装包。spark-3.2.0-bin-hadoop3.2-scala2.13.tg
转载
2023-07-18 22:36:13
746阅读
Spark会在用户提交的计算逻辑中的RDD的转换和动作来生成RDD之间的依赖关系，同时这个计算链也就生成了逻辑上的DAG(有向无环图)。RDD之间的关系可以从两个维度来理解:一个是当前RDD是从哪些RDD转换而来，也就是parent RDD(s)是什么;还有就是依赖于parent RDD的哪些Partition。这个关系，就是RDD之间的依赖。根据依赖parent RDD的Partitions的依
转载
2024-08-16 13:36:39
27阅读
Hadoop+spark集群搭建 说明：本文档主要讲述hadoop+spark的集群搭建，linux环境是centos，本文档集群搭建使用两个节点作为集群环境：一个作为Master节点，另一个作为Slave节点，由于spark依赖scala，所以需要安装scala搭建步骤：一：安装jdk二：安装hadoop集群（http://www.powerxing.com/install-
转载
2023-09-14 08:35:25
169阅读
## Spark Hadoop依赖的实现流程
为了帮助小白实现"Spark Hadoop依赖"，我将给出以下步骤：
```mermaid
flowchart TD
A[创建Spark项目]
B[添加Spark依赖]
C[添加Hadoop依赖]
D[编写Spark代码]
E[运行Spark应用]
```
### 1. 创建Spark项目
首先，我们需要
原创
2023-12-04 05:14:27
160阅读
生命不息，折腾不止，趁着最近工作不是太忙继续我的编程之路的学习。 年龄大了，很多东西做过一遍就容易忘记，所谓“好记性不如烂笔头”，对于知识还是记录下来比较容易保存，既是给自己留个笔记，也可以分享给其他有需要的人。废话少说，以下记录我的spark学习之旅： 一、准备工作 1.准备三台服务器.一台作为master,另外两台作为slave 我这里准备了三台服务器，对应的I
转载
2024-07-06 05:57:36
41阅读
我觉得，要想正确理解一门技术，一定要理解它产生的背景，解决的问题。背景一：世界需要更多的计算能力信息技术时代的基石是建立在“计算”之上的。以搜索引擎为例，早期的搜索引擎是人工分类索引的，类似黄页，但是随着网站数量的增多，人工索引的工作量变得巨大，而且更新时效低得难以忍受了。后来的一波搜索引擎都采用了由计算机算法自动索引，查找相关文档，并排序展示的方式。这种方式就导致了对计算能力的巨大需求，类似的趋
转载
2024-10-12 14:25:32
78阅读
# Spark连接Hadoop的依赖
在大数据处理领域，Apache Spark 和 Hadoop 是两个非常重要的开源框架。Spark 提供了一个快速、通用的大数据处理引擎，而 Hadoop 则是一个存储和处理数据的强大平台。为了让 Spark 能够与 Hadoop 进行良好的交互，我们需要配置一些依赖关系。本文将探讨 Spark 连接 Hadoop 的相关依赖，并给出简单的代码示例。
##
原创
2024-10-18 06:24:27
87阅读
在安装Spark之前，确实需要安装Hadoop。因为Spark本身并不包含分布式存储系统，需要依赖Hadoop的HDFS来存储数据。在实际生产环境中，Spark通常和Hadoop一起使用，以实现更好的大数据处理性能。
下面我们来详细介绍如何搭建Spark环境，首先是安装Hadoop，然后再安装Spark。
**步骤概览**：
| 步骤 | 描述 |
原创
2024-05-08 10:27:38
391阅读
集群式Hadoop，Spark，Hive的集群安装原因Hadoop的安装JDK的安装设置三台机器的hostname设置DNS设置SSH免密登录安装HadoopSpark的安装配置Spark配置环境变量Spark的启动bugHive的安装安装Hivebug1文件配置bug2 原因因为赛题要求必须要使用大数据的东西，所以我们搭建了Hadoop的集群，用Spark分析数据，为了方便spark不直接对H
转载
2024-06-19 10:21:26
59阅读
前言 最近公司说要用Hadoop-Spark做个东西，可是公司不给批Linux服务器。。。。（所以IDC这个部门只是专门用来找麻烦的吗？）没办法，需要自己先弄个小Demo出来，认为可行才会给批服务器。。。(╯‵□′)╯︵┻━┻ 没办法，从头开始学吧。一、前期准备 &
