前言最近在搞hadoop+spark+python,所以就搭建了一个本地的hadoop环境,基础环境搭建地址hadoop2.7.7 分布式集群安装与配置 本篇博客主要说明,如果搭建spark集群并集成到hadoop安装流程安装spark需要先安装scala 注意在安装过程中需要对应spark与scala版本, spark 也要跟hadoop对应版本,具体的可以在spark官网下载页面查看下载sa
转载
2023-07-30 15:39:58
82阅读
作者：Neshoir Spark是大规模数据集处理的统一分析引擎，其具备批处理、实时数据分析、图计算、机器学习等能力。Spark的特点就是计算快，其计算尽可能的都会在内存里执行，执行任务基于DAG，提供丰富的编程模型接口，如scala，java，python，Spark应用支持运行于各个主流的资源调度平台之上，如Hadoop YARN、Messos、Kubernetes等，当然Spark自身
转载
2023-07-13 17:30:29
69阅读
文章目录1 运行环境1.1 软件环境1.2 浏览器要求2 安装准备2.1 准备虚拟机2.2 修改主机名2.3 关闭防火墙2.4 修改主机名列表2.5 配置时间同步2.5.1 配置自动时钟同步2.5.2手动同步时间2.6 配置免秘钥登录2.7 安装jdk3 安装zookeeper3.1 准备安装包3.2 修改配置文件3.3 创建相关目录3.4 分发zookeeper软件包3.5 修改myid文件3
一、Spark集群角色当Spark Application运行在集群上时，主要有四个部分组成1.Driver是一个JVM Process进程，编写的Spark应用程序就运行在Driver上，由Driver进程执行2.Master（ResourceManager）是一个JVM Process进程，主要负责资源的调度和分配，并进行集群的监控等职责3.Worker（NodeManager）是一个JVM
转载
2023-07-12 11:02:31
70阅读
Spark分布式集群的搭建详细图文步骤
原创
2021-07-12 16:39:13
722阅读
master eth0 192.168.31.250eth1 192.168.125.128back eth0 192.168.31.114eth1 192.168.125.131下面操作1-5都是在两个机器上操作1. hostname 设置好，分别为david 和 david1 2. 关闭防火墙 iptables -F;  
原创
2015-12-28 15:34:46
1590阅读
一、Spark简介：Spark是一种与Hadoop相似的开源集群计算环境Spark基于MR算法实现的分布式计算，拥有Hadoop MR的优点，不同的是结果保存在内存中Spark是一个针对超大数据集合的低延迟的集群分布式计算系统，比MapReduce快40倍左右Spark是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架Spark兼容Hadoop的API，能够读写Hadoop的HD
原创
2015-03-21 17:46:20
3989阅读
分布式集群搭建：http://blog.51cto.com/14048416/2327802 上面试spark普通的分布式集群搭建，存在master节点的单点故障问题。Hadoop2.x开始，已经使用zookeeper解决了单点故障。同样的策略，spark也利用了zookeeper解决了spark集群的单点故障问题。1.集群的规划（这里使用3台机器测试）2.具体搭建步骤：①如果已经使用，
原创
2019-01-02 10:39:21
2795阅读
1.环境介绍（1）操作系统RHEL6.2-64（2）两个节点：spark1(192.168.232.147),spark2(192.168.232.152)（3）两个节点上都装好了Hadoop 2.2集群2.安装Zookeeper（1）下载Zookeeper：http://apache.claz.org/zookeeper ... keeper-3.4.5.tar.gz（2）解压到/root/in
转载
精选
2015-07-06 09:39:58
1441阅读
Hadoop的集群部署和单节点部署类似，配置文件不同，另外需要修改网络方面的配置 首先，准备3台虚拟机，系统为CentOS 6.6，其中一台为namenode 剩余两台为 datanode； 修改主机名主节点为：hadoopha，数据节点主机名分别为hadoop1、hadoop2，具体修改方法点击这里查看 本例中这3台虚拟机处于同一个局域网，网络连接设置为桥接，ip地址分别为是hadoo
部署HA wordpress Cluster WordPress是一种使用PHP语言开发的博客平台，用户可以在支持PHP和MySQL 数据库的服务器上架设自己的网志。也可以把 WordPress 当作一个内容管理系统（CMS）来使用。WordPress 是一个免费的开源项目，在GNU通用公共许可证下授权发布。WordPress&nb
原创
2015-10-22 08:18:20
2901阅读
Flink 搭建 - Flink On Yarn 集群模式什么是 FLINK ON YARN安装部署三种部署模式的介绍和区别启动测试（Application Mode ｜ 应用模式）启动测试（Session Mode ｜ 会话模式）启动测试（Per-Job Mode ｜Job分离模式） Apache Flink 1.14 Documentation2022-04-29 更新，在 Hadoop-2
1、Standalone 软件要求： Java 1.8.x or higher ssh JAVA_HOME配置 You can set this variable in
conf/flink-conf.yaml
via the
env.java.home
key.
Flink配置： 下载解压 配置：conf/flink-con
openstack集群部署1、openstack-train版本集群部署1.1 master初始化，安装源1.2 master安装keystone组件1.3 在master创建账户，域和项目1.4 master安装glance组件1.5 maser安装placement1.6 master安装nova组件1.7（node） 在node节点安装nova组件1.8 master配置neutron组件
转载
2023-07-25 00:03:03
177阅读
文章目录1 运行环境1软件环境2 安装准备2.1准备虚拟机2.2 修改主机名2.3 关闭防火墙2.4 配置时间同步2.5 配置ssh免秘登录2.6 安装jdk3 安装其他组件3.1 安装zookeeper和hadoop3.2 安装高可用hadoop3.2.1 HDFS3.2.2 YARN3.2.3 分发配置文件3.2.4 启动HDFS3.2.5 验证是否成功1 运行环境1软件环境三个节点
OS：6
转载
2023-07-06 23:50:19
222阅读
分布式集群搭建：https://blog.51cto.com/14048416/2327802 上面试spark普通的分布式集群搭建，存在master节点的单点故障问题。Hadoop2.x开始，已经使用zookeeper解决了单点故障。同样的策略，spark也利用了zookeeper解决了spark集群的单点故障问题。1. 集群的规划（这里使用3台机器测试）2.具体搭建步骤：① 如果已经使用，并启
转载
2023-10-26 12:18:29
55阅读
spar...
原创
2022-10-27 10:55:53
74阅读
一. 概述1. spark的三种部署模式1.1 Spark on YARNSpark on Yarn 模式就是将Spark应用程序跑在Yarn集群之上，通过Yarn资源调度将executor启动在container中，从而完成driver端分发给executor的各个任务。将Spark作业跑在Yarn上，首先需要启动Yarn集群，然后通过spark-shell或spark-submit的方式将作业
Spark 高可用集群的安装集群的规划1.下载和解压下载 Spark解压 Spark 安装包移动 Spark 安装包2.配置分发和运行Spark 集群高可用搭建入门例子 集群的规划一个简单的表格是这么创建的：节点 功能节点名称节点IPmarster 和 slavezhen(震）192.168.2.5slavexun(巽）192.168.2.6slaveli(离）192.168.2.71.下载和解
转载
2023-06-19 05:39:16
108阅读
虽然spark master挂掉的几率很低，不过还是被我遇到了一次。以前在spark standalone的文章中也介绍过standalone的ha,现在详细说下部署流程，其实也比较简单。一.机器zookeeper集群zk1:2181zk2:2181zk3:2181spark ma...
转载
2015-08-17 16:00:00
121阅读
