本文是将三台电脑用路由器搭建本地局域网，系统为centos6.5,已经实验验证，搭建成功。（文末附视频教程）一、设置静态IP&修改主机名&关闭防火墙（all-root）（对三台电脑都需要进行操作）0.将三台电脑安装centos6.5系统1.设置静态ip（便于机器之间的通信，防止路由器电脑重启后，ip变化，导致不能通信）vim /etc/sysconfig/network-scrip
转载
2024-10-21 20:06:14
16阅读
Hadoop HA高可用+Zookeeper搭建简介本篇介绍在VMware+CentOS 7.4环境上搭建Hadoop HA+Zookeeper。Hadoop集群分布如下：编号主机名namenode节点zookeeper节点journalnode节点datanode节点resourcemanager节点1master1√√√√2master2√√√√3slave1√√√4slave2√使用软件版本
转载
2023-08-21 10:35:56
73阅读
Kudu的背景 Hadoop中有很多组件，为了实现复杂的功能通常都是使用混合架构，Hbase：实现快速插入和修改，对大量的小规模查询也很迅速HDFS/Parquet + Impala/Hive：对超大的数据集进行查询分析，对于这类场景， Parquet这种列式存储文件格式具有极大的优势。HDFS/Parquet + Hbase:这种混合架构需要每隔一段时间将数据从hbase导出成Parquet文件
一.Flink是什么Apache Flik 是一个面向分布式数据流处理和批量数据处理的开源计算平台,提供支持流处理和批处理两种类型应用的功能。二.Flink特点现在的开源方案,会把流处理和批处理作为两种不同的应用类型:流处理一般需要支持低延迟,Exactly-once保证,而批处理需要支持高吞吐,高效处理.
Flink是完全支持流处理,也就是说作为流处理看待时输入数据流是无界的;批处理被作为一种特
转载
2023-09-03 11:51:44
225阅读
到 Github 下载支持 Hadoop 2.5 及其之前版本的 Spark 2.2.1 ：https://github.com/397090770/spark-2.2-for-hadoop-2.2Apache Spark 2.2.0 于今年7月份正式发布，这个版本是 Structured Streaming 的一个重要里程碑，因为其可以正式在生产环境中使用，实验标签（expe
转载
2024-06-12 00:17:26
13阅读
目录前言：1、连续事件处理的目标2、流处理技术的演变Lambda 架构概述：优势和局限性3、初探Flink批处理与流处理4、为什么选择Flink前言： 我们渴望按照流的方式处理数据，但要做好很困难；随着大规模数据在各行各业中出现，难度越来越大。这是一个属于物理学范畴的难题：在大型 分布式系统中，数据一致性和对事件发生顺序的理解必然都是有限的。伴随着方法和技术的演化，我们尽可能使这种局限性不危及商业
转载
2023-10-17 19:28:38
4阅读
一、安装版本：JDK1.8.0_111-b14hadoophadoop-2.7.3zookeeperzookeeper-3.5.2
二、安装步骤： JDK的安装和集群的依赖环境配置不再叙述
1、hadoop配置 hadoop配置主要涉及hdfs-site.xml，core-site.xml，mapred-
转载
2023-11-17 15:28:54
101阅读
kafka跟activemq，rocketmq类似，也是其中一种消息中间件。Step1:下载kafka包https://kafka.apache.org/downloads 下载 kafka_2.11-1.1.0.tgz >tar -zxvf kafka_2.11-1.1.0.tgz
>cd kafka_2.11-1.1.0Step2:启动kafkakafka需要用到zookeeper
转载
2024-03-27 16:27:33
303阅读
hadoop环境搭建从官网上获得对应的安装包下载地址：Apache Download MirrorsApache Download MirrorsApache Download Mirrors点击第一个 安装JDK1.8解压文件tar -zxvf jdk-8u60-linux-x64.tar.gz 2.配置环境vi /etc/profile按i执行编
转载
2024-02-23 11:12:00
54阅读
环境准备一共4台虚拟机，模拟HA环境，供学习用 IPZKNMRMDNVm1192.168.31.150YYY Vm3192.168.31.152YY YVm4192.168.31.153Y YYVm5192.168.31.154 YYY 所需软件jdk 1.8, zk 3.7, hadoop-3.2.1 这些都可以从官网下载安
转载
2023-11-15 14:07:54
116阅读
链接：https://pan.baidu.com/s/1aE4CwIRG4hZPwlbKcdgv_w 提取码：5sxa安装包，百度网盘。其中hbase0.98版本太低，不建议使用。可以使用1.2.6版本。如果遇到版本冲突问题，在考虑使用。zookeeper安装：上传安装包：解压安装包，创建软连接：**创建软连接是为了方便。 解压命令：tar -zxvf 文件 ******解压到当前目录。配置zoo
转载
2023-10-12 21:27:26
102阅读
一、下载ZooKeeper 二、安装环境 三、JDK安装过程（略） 四、ZooKeeper安装和配置 1、创建目录 2、解压zookeeper安装包 3、复制重命名配置文件 4、修改配置文件zoo.cfg 5、创建myid文件 6、配置zookeeper的环境变量 7、打开防火墙端口 8、设置开机启动 9、启动/停止/重启ZooKeeper、查看状态和进程 一、下载ZooK
转载
2023-12-28 12:44:48
43阅读
文章目录Hadoop框架Zookeeper简介、搭建及简单使用Zookeeper简介Zookeeper集群搭建下载zookeeper对应的tar包1、上传安装包到master并解压2、配置环境变量3、修改配置文件4、新建data目录5、同步到其它节点6、配置node1和node2的环境变量7、编辑/usr/local/soft/zookeeper-3.4.6/data/myid8、启动zk9、停
转载
2023-11-18 23:11:21
82阅读
服务器 节点分布图HBase完全分布式模式hbase 完全分布式搭架之前，保证hadoop集群上做HDFS 确认是运行着的，hadoop的集群搭建参考 下载解压最新版本：HBase下载地址 ：http://archive.apache.org/dist/hbase/ 点击stable目录选择不同版本，然后下载后缀为 .tar.gz 的文件; 例如 hbase-0.98.9-hadoop2-bin.
转载
2024-06-19 10:22:50
89阅读
好久没写文章了，手都有点生。菜鸡一只，如果有说错的还请大家批评！最近工作上的事情还是有点忙的，主要都是一些杂活，不干又不行，干了好像提升又不多，不过拿人家手短吃人家嘴软，既然拿了工资就应该好好的干活，当然前提是需求相对合理的情况嘿嘿~近来Flink的势头有点猛啊，它和spark的区别在于：spark更倾向于批处理或者微批处理（spark现在的发展方向往人工智能的分布式算法上走了），但是Flink确
转载
2023-08-07 16:32:41
171阅读
zookeeper简介Hadoop的原始安装包下面只提供HDFS以及MapReduce两个功能，其他的生态组件需要自己安装，这里本人首先遇到的是zookeeper，一个分布式服务框架，它能提供下面这些功能：配置维护域名服务分布式同步组服务等zookeeper维护一个类似于文件系统的服务结构，每一个文件目录都被称为是一个znode，我们可以随意增加、删除这些znode，同时znode下面是可以保存数
转载
2023-12-06 18:21:05
218阅读
文章目录Hadoop框架Zookeeper Java API引入zookeeper依赖测试连接1、新建连接2、创建临时节点3、运行测试ZKJavaAPI名词解析创建永久节点创建临时节点获取节点数据修改数据删除节点事件完整代码 Hadoop框架Zookeeper Java API引入zookeeper依赖 去Maven官网引入Zookeeper依赖。 选择3.4.6版本，复制到IDEA
转载
2023-11-12 09:30:59
79阅读
# Hadoop组件依赖Zookeeper
## 简介
Hadoop是一个开源的分布式计算框架，用于处理大规模数据集的分布式存储和计算。而Zookeeper是一个分布式协调服务，提供高性能的分布式应用程序的协同管理。
在Hadoop中，有一些组件是依赖于Zookeeper的，这些组件包括HBase、Hive、Storm等。在本文中，我将为你详细介绍Hadoop组件依赖Zookeeper的流程
原创
2023-12-24 09:16:13
203阅读
目 录1. 计算引擎的发展历史2. 什么是Flink2.1 概念2.2 什么是有界的数据流和无界数据流？什么是状态？2.3 Fink的历史2.4 Flink的特点2.5 Flink的应用2.6 流批架构的演变2.7 Flink的分层API3. Flink VS Spark4. Flink Or Spark ？ 1. 计算引擎的发展历史 随着大数据的发展，大数据的存储、计算、运用百花齐放；而大
转载
2024-05-25 13:56:34
7阅读
2.Flink的运行必须依赖Hadoop组件吗？Flink 可以完全独立于 Hadoop， 在不依赖 Hadoop 组件下运行。 但是做为大数据的基础设施， Hadoop 体系是任何大数据框架都绕不过去的。 Flink 可以集成众多Hadooop 组件， 例如 Yarn、 Hbase、 HDFS 等等。 例如， Flink 可以和 Yarn 集成做资源调度， 也可以读写 HDFS， 或者利用 HD
转载
2023-08-01 15:49:24
273阅读
