主要包括以下三部分，本文为第二部分： 一. Scala环境准备 查看 二. Hadoop集群(伪分布模式)安装 三. Spark集群(standalone模式)安装 查看Hadoop集群(伪分布模式)安装依赖项：jdk(hadoop与java版本兼容性参考链接)、ssh； 执行ssh localhost若提示：localhost: ssh: connect to host localhost po
转载
2024-06-22 09:51:39
44阅读
1．HDFS 常用操作 （1） 启动 Hadoop，在 HDFS 中创建用户目录“/user/hadoop”； $cd /usr/local/hadoop
$./sbin/start-dfs.sh #启动 HDFS
$./bin/hdfs dfs -mkdir -p /user/hadoop #在 HDFS 中创建用户目录/user/hadoop（2） 在 Linux 系统的本地文件系统的“/ho
转载
2023-07-12 11:26:55
137阅读
# Idea远程开发Hadoop Spark的指南
本文将教您如何通过IntelliJ IDEA进行远程开发，使用Hadoop和Spark进行大数据处理。我们将分步骤讲解该流程，并为每一步提供相关代码及其详细注释。通过本文，您将能够在Hadoop和Spark上运行您的代码，并在IDEA中进行远程调试。
## 整体流程
下面是实现“IDEA远程开发Hadoop Spark”的基本流程：
|
对于spark源码和spark执行过程有兴趣的同学，可以搭建一个spark的源码调试环境，来调试远程spark源码执行过程。由于spark启动都是通过脚本设置一些环境变量执行指定类来启动的，所以在ide里面不能直接调试，需要预先启动一个spark执行代码，然后通过本地的代码进行远程调试。1.环境idea 2017maven 3.3（可以将maven的镜像地址设置成国内的，不然编译很久或编译不成功）
转载
2024-04-08 12:31:11
79阅读
当集群搭建好了,接下来就是将自己的代码写好，扔到集群上进行跑了。一、安装软件1、JDK 2、Intellj IDEA 3、xshell这三部安装过程这里不介绍，下一步下一步即可。4、Intellj IDEA 安装scala插件 首次使用会出现安装插件提示，如果没安装，就在File->setting->plugins,输入scala.二、所需包各种包最好保持与集群版本一致。1、ja
转载
2023-07-25 13:54:25
102阅读
在Spark框架组件当中，核心部分不得不提到一个重要的概念，叫做RDD。而这个RDD，本身来说，也是Spark框架相比早期的Hadoop MapReduce框架实现了性能提升的重要一步。今天的大数据学习分享，我们就来讲讲，Spark RDD操作入门。RDD简介RDD，全称是Resilient Distributed Dataset，翻译过来叫做弹性分布式数据集，属于分布式的内存系统的数据集应用。S
转载
2023-08-29 13:29:07
72阅读
# Spark使用Hadoop API教程
## 引言
在大数据领域，Hadoop和Spark被广泛应用于数据处理和分析。而Spark使用Hadoop API可以让我们在Spark中访问和操作Hadoop生态系统中的数据。本教程将指导你如何使用Hadoop API在Spark中实现这一功能。
## 整体流程
以下是实现"Spark使用Hadoop API"的整体流程：
```mermaid
原创
2024-01-19 09:15:35
40阅读
在安装Spark3.0之前我们需要先安装Hadoop3.2。Hadoop 3.2伪分布式安装安装Java JDK并配置好Java_HOME环境变量Hadoop3.0之后的版本只支持Java8以后的版本。下载完jdk解压之后放置于’/usr/lib/jvm’下面（目录可以更改），下载完之后在‘/etc/profile’中配置相关的环境变量export JAVA_HOME=/usr/lib/jvm/j
转载
2024-06-19 21:12:58
34阅读
# Spark使用Hadoop HDFS
## 简介
Apache Spark是一个快速、通用的大数据处理引擎，支持在Hadoop HDFS上进行高效的分布式数据处理。本文将介绍如何在Spark中使用Hadoop HDFS，并提供示例代码。
## Hadoop HDFS
Hadoop HDFS是Hadoop生态系统中的分布式文件系统，用于存储大规模数据。HDFS将数据划分为小的数据块，并将这些
原创
2024-04-02 06:08:59
176阅读
代码注意setJars，提交的代码，要提前打好包。否则会报找不到类的错误个人理解就相当于运行的main方法是起了一个spark-submit任务，提交任务到集群时还是要指定好任务的jar包，以便复制到各个Executor执行代码。import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}
ob
转载
2023-06-26 17:22:01
229阅读
一、开发WordCount程序Java示例代码package com.lj.sparkcore;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api
转载
2023-09-24 18:18:48
186阅读
起因这几天，我做的项目中需要使用第三方的 API，在第三方的 API 回调时，出现各种错误，需要远程调试。之前做远程调试的时候，我只会在代码中输出日志，记录下来做分析处理，但这样做既麻烦又费时，往往还不能准确定位问题，恶心至极。之前做 .NET 开发时用过 Remote Debug 这个功能，想想 Idea 这么牛逼，是不是也有这个功能，上网一查，还真有，共享出来，与诸君共勉。服务端配置
转载
2023-07-13 16:44:55
111阅读
雅虎开源CaffeOnSpark：基于Hadoop/Spark的分布式深度学习 2016-02-26
深度学习实验室 基于Hadoop集群的大规模分布式深度学习一文中，雅虎介绍了其集Caffe和Spark之长开发CaffeOnSpark用于大规模分布式深度学习，并向github.com/BVLC/caffe贡献了部分代码。现在，雅虎机器学习团队又宣布将整个CaffeOnSpark
转载
2024-06-12 00:15:07
29阅读
弹性分布式数据集(RDD)Spark围绕弹性分布式数据集(RDD)的概念展开，RDD是可并行操作的可容错的元素集合。有两种方法可以创建RDD：并行化一个驱动程序中的已存在的集合，或引用外部存储系统(例如共享文件系统、HDFS、HBase或提供Hadoop InputFormat的任何数据源)中的数据集。并行集合通过在驱动程序中已存在的集合(Scala Seq)上调用SparkContext的par
转载
2023-08-21 22:39:17
142阅读
#hadoop1.x是默认每个块大小64GB,而hadoop2.x默认每个块大小128GB。系统默认3个快。定义（1）；block； HDFS存储数据在DataNode节点，block就是DataNode里存储数据的一个一个单位。当我们把文件上传到HDFS时，文件会被分块，这个是真实物理上的定义。因为，读磁盘需要时间，随机读会造成查找目录的时间比真正读
转载
2023-07-12 14:49:29
95阅读
默认情况下，hadoop官方发布的二进制包是不包含native库的，native库是用C++实现的，用于进行一些CPU密集型计算，如压缩。比如apache kylin在进行预计算时为了减少预计算的数据占用的磁盘空间，可以配置使用压缩格式。 默认情况下，启动spark-shell,会有无法加载nati
转载
2019-02-14 11:47:00
362阅读
2评论
一、背景 在最新的项目开发过程中，需要大量的对基础数据的转换实现中间字段或者中间表，使用SQL去进行数据的计算和处理，往往需要耗费大量的精力去写SQL并且实现起来很不方便，没有R、Python、Matlab、Scala等实现起来方便，基于这样的一个工作过程中遇到的痛点背景，有同学建议使用spark进行数据的etl处理直接生成结果表，先不论能否实现最终的目标但不
转载
2024-10-11 11:47:54
56阅读
Spark框架一、Spark概述1.1 Spark是什么1.2 Spark & Hadoop1.3 Spark / Hadoop（1）Hadoop MapReduce（2） Spark1.4 Spark核心模块 一、Spark概述1.1 Spark是什么Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。1.2 Spark & HadoopSpark与Hadoop的
转载
2023-09-01 11:06:45
75阅读
首先Spark是借鉴了mapreduce并在其基础上发展起来的，继承了其分布式计算的优点并改进了mapreduce明显的缺陷。 但是二者也有不少的差异具体如下：ApacheSpark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行计算框架，Spark拥有Had
转载
2023-08-01 22:14:37
69阅读
有以下四个不同：1. 解决问题的层面不一样Hadoop和Apache Spark两者都是大数据框架，但是各自存在的目的不尽相同。Hadoop实质上更多是一个分布式数据基础设施: 它将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储，意味着您不需要购买和维护昂贵的服务器硬件。 同时，Hadoop还会索引和跟踪这些数据，让大数据处理和分析效率达到前所未有的高度。Spark，则是那么一
转载
2023-09-26 15:52:54
48阅读
