目录Apache Pulsar集群部署手册1 集群组成2 准备工作必须条件安装建议3 部署流程3.1 zookeeper安装集群元数据说明3.2 bookkeeper部署3.3 Broker集群部署Java Demo示例pom.xml文件Producer demoConsumer demoApache Pulsar集群部署手册1 集群组成搭建 Pulsar 集群至少需要 3 个组件：ZooKeep
转载
2024-10-19 22:36:39
80阅读
首先准备3台电脑或虚拟机，分别是Master,Worker1,Worker2，安装操作系统(本文中使用CentOS7)。1、配置集群，以下步骤在Master机器上执行 1.1、关闭防火墙：systemctl stop firewalld.service 1.2、设置机器ip为静态ip 1.2.1、修改配置 cd /etc/sysconfig/network-scripts/
vim i
转载
2024-07-28 10:06:26
91阅读
1spark 运行时的架构：spark集群采用主从结构，中央协调节点称为驱动器节点 driver node，与之对应工作节点称为执行器节点 executor。驱动节点和大量的执行器节点进行通信。spark通过集群管理器cluster manager的外部服务在集群中的及其上启动分配调度 spark驱动器是执行程序中main方法，执行用户编写的用来创建sparkcontext，创建RDD，
转载
2023-11-24 10:35:42
58阅读
SparkSpark 是一个开源的类似于 Hadoop MapReduce 的通用的并行计算框架， Spark基于 map reduce 算法实现的分布式计算， 拥有Hadoop MapReduce 所具有的优点； 但不同于 MapReduce 的是Spark 中的 Job 中间输出和结果可以保存在内存中，从而不再需要读写 HDFS， 因此 Spark 能更好地适用于数据挖掘与机器学习等需 要迭代
转载
2023-09-11 21:51:38
143阅读
本次总结图如下修改集群webUI端口两种方式方式一：conf/spark-env.sh 添加SPARK_MASTER_WEBUI_PORT方式二： sbin/start-master.sh 修改8080搭建spark集群客户端必要性：spark集群客户端提交应用时，承担磁盘IO，并且独立于spark集群，,不会影响spark集群某个节点性能差异注意：客户端节点不用在slaves配置，也
转载
2023-08-29 17:01:10
74阅读
在大数据领域，只有深挖数据科学领域，走在学术前沿，才能在底层算法和模型方面走在前面，从而占据领先地位。Spark的这种学术基因，使得它从一开始就在大数据领域建立了一定优势。无论是性能，还是方案的统一性，对比传统的Hadoop，优势都非常明显。Spark提供的基于RDD的一体化解决方案，将MapReduce、Streaming、SQL、Machine Learning、Graph Processin
转载
2023-08-22 20:49:37
125阅读
前言最近在搞hadoop+spark+python,所以就搭建了一个本地的hadoop环境,基础环境搭建地址hadoop2.7.7 分布式集群安装与配置 本篇博客主要说明,如果搭建spark集群并集成到hadoop安装流程安装spark需要先安装scala 注意在安装过程中需要对应spark与scala版本, spark 也要跟hadoop对应版本,具体的可以在spark官网下载页面查看下载sa
转载
2023-07-30 15:39:58
116阅读
这里默认你的hadoop是已经安装好的，master是node1，slaver是node2-3，hdfs启动在node1，yarn启动在node2，如果没安装好hadoop可以看我前面的文章因为这里是spark和hadoop集成，我已经预先启动好了hdfs 和 yarn；MapReduce History Server也是需要启动的，详情往下看Spark安装包：概述类别 与Hadoop打包在一起
转载
2024-05-07 12:11:18
89阅读
在集群master节点终端上执行pip install pyspark==3.1.1
pyspark --master spark://master:7077Python代码#sc查看是否连接成功
sc显示如下说明成功 接着查看集群环境,把环境拷贝下来import os
os.environ拿取里边3个环境变量( 要是不行就去掉SPARK_HOME变量本地连接spark集群:
转载
2023-06-30 11:04:22
488阅读
文章目录参考版本WINDOWS1、JAVA安装2、HadoopLINUX1、关闭防火墙2、修改主机名3、ntp时间同步4、ssh免密登录5、JAVA安装5.1.卸载OpenJDK5.2.安装5.3.复制6、zookeeper安装6.1.安装6.2.复制6.3.myid6.4.启动服务7、HADOOP安装7.1.安装7.2.复制7.3.格式化7.4.启动7.4.1.jps7.4.2.浏览器7.4.
思路一统一区域的监控目标，prometheus server两台监控相同的目标群体。改变后上面这个变化对于监控目标端，会多出一倍的查询请求，但在一台prometheus server宕机的情况下，可以不影响监控。思路二这是一个金字塔式的层次结构，而不是分布式层次结构。Prometheus 的抓取请求也会加载到prometheus work节点上，这是需要考虑的。上面这种模式，准备3台prometh
转载
2023-07-21 20:08:08
89阅读
Spark 1.6.0 译者：dlbrant 集群模式概览本文简要描述了Spark在集群中各个组件如何运行。想了解如何在集群中启动Spark应用，请参考application submission guide 。组件Spark应用在集群上运行时，包括了多个独立的进程，这些进程之间通过你的主程序（也叫作驱动器，即：driver）中的SparkContext对象来进行
转载
2024-08-25 23:35:45
51阅读
1.1 spark的介绍Spark是一种快速、通用、可扩展的大数据分析引擎，是基于内存计算的大数据并行计算框架，spark基于内存计算，提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将spark部署在大量廉价的硬件之上，形成spark集群。Spark是基于内存计算的框架，计算速度非常快，但是需要注意到是，spark仅仅只涉及数据的计算，并没有涉及数据存储。
转载
2023-09-05 12:04:09
86阅读
最近刚开始接触大数据，一个日志分析系统，需要用Spark开发，Elasticsearch作为数据库来使用。所以第一步要解决的就是怎么从Spark去取Elasticsearch上的数据，下面是软件的版本信息。(基本原则是开发和集群的版本都要一致)开发环境 jdk: 1.8.0_91scala: 2.11.8spark: 2.1.0IntelliJ IDEA 2017.1.1(集成开发环境)集群环境
转载
2023-10-11 10:17:30
102阅读
spark-day01学习笔记1、目标1、熟悉spark相关概念2、搭建spark集群3、编写简单的spark程序2、spark概述spark是基于内存的一个计算框架，计算速度非常的快。这里面没有涉及到任何存储，如果想要处理外部的数据源，比如数据在HDFS上，此时我们就需要先搭建一个hadoop集群。3、spark的特点1、速度快（比mapreduce在内存中快100倍，比在磁盘中快10倍） （1
转载
2024-05-07 12:17:02
78阅读
Spark术语Spark集群模式详解：http://spark.apache.org/docs/latest/cluster-overview.html集群中的术语术语含义Application构建在Spark上的用户程序。由群集上的driver program和executors 组成。Application jar包含用户的Spark应用程序的jar。在某些情况下，用户想要创建一个包含其应用程
转载
2024-02-02 18:14:00
49阅读
Apache Spark是一个开放源代码群集计算框架，正在点燃大数据世界。根据Spark认证专家的说法，与Hadoop相比，Sparks的性能在内存上快100倍，在磁盘上快10倍。 在此博客中，我将为您简要介绍Spark架构以及Spark架构的基础知识。在这篇Spark Architecture文章中，我将介绍以下主题：Spark及其功能Spark架构概述星火生态系统弹性分布式数据集（R
转载
2023-10-17 20:53:16
120阅读
首先声明，这篇博文相对比较长，大约需要10 min1、阿里云官网登录，购买ecs云服务器 www.aliyun.com/ 如果你是新用户，需要注册，之后充值100购买ecs服务器我们可以看到公网和内网IP，将公网IP配置笔记本上的hosts文件，地址自己去找吧，这里不说了，我配置后的结果：这里顺便说下停止ecs服务器 2、配
转载
2024-01-04 23:33:56
119阅读
一、软件介绍1、CDH 概览CDH（Cloudera Distribution of Apache Hadoop） 是 Apache Hadoop 和相关项目中最完整、经过测试和流行的发行版。CDH 提供 Hadoop 的核心元素，可伸缩存储和可扩展分布式计算，以及基于 web 的用户界面和关键的企业功能。CDH 是 apache 授权的开放源码，是惟一提供统一批处理、交互式 SQL 和交互式搜索
转载
2024-01-04 23:32:53
65阅读
## 实现CDH集群集成Iceberg和Spark教程
作为一名经验丰富的开发者，我将帮助你学会如何实现CDH集群集成Iceberg和Spark。首先，我们来看整个流程的步骤：
| 步骤 | 操作 |
| ---- | ---- |
| 1 | 安装Hadoop、Hive和Spark |
| 2 | 下载Iceberg jar包 |
| 3 | 将Iceberg jar包添加到Hive的依赖中
原创
2024-02-26 05:32:18
360阅读
