前言最近在搞hadoop+spark+python,所以就搭建了一个本地的hadoop环境,基础环境搭建地址hadoop2.7.7 分布式集群安装与配置 本篇博客主要说明,如果搭建spark集群并集成到hadoop安装流程安装spark需要先安装scala 注意在安装过程中需要对应spark与scala版本, spark 也要跟hadoop对应版本,具体的可以在spark官网下载页面查看下载sa
转载
2023-07-30 15:39:58
82阅读
一、Ambari介绍1.介绍： Ambari 跟 Hadoop 等开源软件一样，也是 Apache Software Foundation 中的一个项目，并且是顶级项目。Ambari提供了一个直观的，易用的Hadoop管理web界面。 Ambari 自身也是一个分布式架构的软件，
目录写在前面一、创建虚拟机，安装Centos二、VMware VMnet8模式共享主机网络配置三、克隆集群节点HadoopSlave1与HadoopSlave2四、Linux系统配置五、Hadoop的部署配置六、Hadoop集群的启动写在前面 搭建Hadoop集群的过程比较复杂，本文旨在给大家一个参考过程，也欢迎大家在评论区交流自己的心得体会及遇
转载
2023-07-12 12:00:54
222阅读
# 如何实现“spark集群不依赖hadoop部署”
如果你想在部署Spark集群时不依赖Hadoop，可以通过使用Spark Standalone模式来实现。在这篇文章中，我将向你展示如何实现这一目标，让你能够独立部署Spark集群。
## 整体流程
下面是实现“spark集群不依赖hadoop部署”的整体流程：
| 步骤 | 操作 |
| --- | --- |
| 1 | 下载并解压
一、软件介绍1、CDH 概览CDH（Cloudera Distribution of Apache Hadoop） 是 Apache Hadoop 和相关项目中最完整、经过测试和流行的发行版。CDH 提供 Hadoop 的核心元素，可伸缩存储和可扩展分布式计算，以及基于 web 的用户界面和关键的企业功能。CDH 是 apache 授权的开放源码，是惟一提供统一批处理、交互式 SQL 和交互式搜索
一、hadoop、Storm该选哪一个？为了区别hadoop和Storm，该部分将回答如下问题：1.hadoop、Storm各是什么运算2.Storm为什么被称之为流式计算系统3.hadoop适合什么场景，什么情况下使用hadoop4.什么是吞吐量首先整体认识：Hadoop是磁盘级计算，进行计算时，数据在磁盘上，需要读写磁盘；Storm是内存级计算，数据直接通过网络导入内存。读写内存比读写磁盘速度
转载
2023-08-22 19:33:33
40阅读
Spark是一个开源的通用并行分布式计算框架，由加州大学伯克利分校的AMP实验室开发，支持内存计算、多迭代批量处理、即席查询、流处理和图计算等多种范式。Spark内存计算框架适合各种迭代算法和交互式数据分析，能够提升大数据处理的实时性和准确性，现已逐渐获得很多企业的支持，如阿里巴巴、百度、网易、英特尔等公司。1、 Spark VSHadoop有哪些异同点？&nb
转载
2023-10-05 16:37:34
0阅读
本文主要介绍win10环境下搭建hadoop伪分布式集群 说明：不推荐使用3.0以上Hadoop，因为笔者在HDFS格式化时出现主机地址映射问题无法解决 文章目录环境搭建JDK 1.8ScalaSparkHadoopwinutils支持jdk支持Hadoop分布式集群配置分布式集群配置启动HadoopHDFS应用管理查询节点状态文件管理参考文章 环境： JDK：1.8.0.261scala：2.
文章目录Hadoop和Spark概述一. 简单说说Hadoop1. Hadoop的产生背景2. Hadoop核心技术二. 简单说说Spark1. Spark的官方定义2. Spark的核心技术3. Spark的内置项目4. Spark的生态体系5. Spark的特点6. Spark的用户和用途三. Hadoop和Spark的关系1. Spark的优势2. Spark对Hadoop的改进3.
转载
2023-07-12 11:58:31
133阅读
一. 概述1. spark的三种部署模式1.1 Spark on YARNSpark on Yarn 模式就是将Spark应用程序跑在Yarn集群之上，通过Yarn资源调度将executor启动在container中，从而完成driver端分发给executor的各个任务。将Spark作业跑在Yarn上，首先需要启动Yarn集群，然后通过spark-shell或spark-submit的方式将作业
参考网站：
Linux下配置jdk1.7- Hustc的专栏 - 博客频道 - CSDN.NET
高效搭建Spark完全分布式集群- 服务器负载均衡 - 次元立方网 - 电脑知识与技术互动交流平台
hadoop学习之hadoop完全分布式集群安装- 落魄影子 - 博客频道 - CSDN.NET
hadoop2.2完全分布式最新高可靠安装文档-Hadoop2|YARN-about云开发
S
转载
2023-07-25 00:22:06
100阅读
文章目录部署docker-consul群集，Harbor构建Docker私有仓库了解Harvor案例概述Docker consul服务了解部署Harbor服务过程不是本地上传镜像操作在用户端操作部署Docker consul群集实验过程安装部署docker-compose配置Docker consul服务安装Gliderlabs/Registrator安装consul-template准备tem
配置网络之前先检测任务管理器中5个关于虚拟机的服务都是开启的。然后，依次点击菜单栏中 编辑-虚拟网络编辑器 配置虚拟机网卡，具体步骤如下点击图片上方网卡名称中的VMnet8并配置下方的子网IP和子网掩码，子网IP更改为192.168.30.0 ，子网掩码更改为255.255.255.0点击上一个图片中部的NAT设置，并配置网关为192.168.30.2，之后点击确定接着点击第一张图片下方
一、软件准备1、基础docker镜像：ubuntu，目前最新的版本是182、需准备的环境软件包：(1) spark-2.3.0-bin-hadoop2.7.tgz
(2) hadoop-2.7.3.tar.gz
(3) apache-hive-2.3.2-bin.tar.gz
(4) jdk-8u101-linux-x64.tar.gz
(5) mysql-5.5.45-linux2.6-x86_
转载
2023-07-12 15:09:22
101阅读
这里默认你的hadoop是已经安装好的，master是node1，slaver是node2-3，hdfs启动在node1，yarn启动在node2，如果没安装好hadoop可以看我前面的文章因为这里是spark和hadoop集成，我已经预先启动好了hdfs 和 yarn；MapReduce History Server也是需要启动的，详情往下看Spark安装包：概述类别 与Hadoop打包在一起
本次搭建版本 为hadoop-3.3.0.1、下载hadoop创建hadoop文件夹cd usr/
mkdir softInstall
cd softInstall/
mkdir hadoop在hadoop文件夹下执行下载命令：wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.0/hadoop-3.3
转载
2023-08-29 15:55:56
245阅读
独立模式，自己独立一套集群(master/client/slave)，Spark 原生的简单集群管理器， 自带完整的服务， 可单独部署到一个集群中，无需依赖任何其他资源管理系统， 使用 Standalone 可以很方便地搭建一个集群，一般在公司内部没有搭建其他资源管理框架的时候才会使用。缺点：资源不利于充分利用
原创
2022-06-12 22:37:04
892阅读
3图
# Hadoop+Spark+Hive高可用集群部署指南
## 引言
在大数据领域中，Hadoop、Spark和Hive是非常重要的工具。Hadoop提供了分布式存储和计算的能力，Spark是一种快速、通用、可扩展的大数据处理引擎，而Hive则是构建在Hadoop之上的数据仓库基础设施。本文将教你如何实现Hadoop、Spark和Hive的高可用集群部署。
## 整体流程
下面的表格展示了
原创
2023-08-27 11:40:43
112阅读
Spark 高可用集群的安装集群的规划1.下载和解压下载 Spark解压 Spark 安装包移动 Spark 安装包2.配置分发和运行Spark 集群高可用搭建入门例子 集群的规划一个简单的表格是这么创建的：节点 功能节点名称节点IPmarster 和 slavezhen(震）192.168.2.5slavexun(巽）192.168.2.6slaveli(离）192.168.2.71.下载和解
转载
2023-06-19 05:39:16
108阅读
事先搭建好zookeeper集群1、下载安装包https://archive.apache.org/dist/spark/spark-2.3.3/spark-2.3.3-bin-hadoop2.7.tgz
spark-2.3.3-bin-hadoop2.7.tgz 2、规划安装目录/kkb/install 3、上传安装包到服务器4、解压安装包到指定的安装目录tar -zxvf
转载
2023-10-24 16:03:25
55阅读
