在学习的Hadoop的的过程中，首先要做的就是建立一个Hadoop的的的集群。我在搭建的过程中，除了许多问题，然后不断的查找不断的百度，通过大量的实验。不知道废了多少组虚拟机终于成功了，下面就把我搭建的过程分享出来吧。1.下载的VMware，安装虚拟机我下载的是VMware12Pro，现在好像最新的是VMware14，你们也可以下载使用。下面直接给你们一条链接吧。下咱完成后点击安装就可
转载
2023-09-11 21:56:20
1264阅读
文章目录前言1.编译源码1.1 官网下载编译后的包1.2 手动编译1.2.1 安装编译相关的依赖1.2.2 手动安装cmake3.13.51.2.3 手动安装snappy1.1.31.2.4 安装JDK8（已安装可忽略）1.2.5 安装配置Maven1.2.6 安装ProtocolBuffer 2.5.0/ProtocolBuffer 3.7.01.2.7 编译hadoop1.2.8 报错2.从
转载
2023-09-05 14:14:27
708阅读
Hadoop安装笔记
1.本次安装的是hadoop集群环境，使用的是vmware虚拟机和centos等，安装步骤在博客内这篇文件中：
我使用同网段不同集群安装的虚拟机，保证每个虚拟机如图本机一样可以相互通信。
由于我安装了一次centos，所以其他机器的虚拟机是复制这个centos的，密码账号相同
1）安装ssh和sshd
sshd是centos中提供
转载
2023-08-09 09:22:06
180阅读
现在，大数据这么火，笔者也忍不住想学了。21世纪是数据的竞争，那么大数据必然是一种趋势，提前了解hadoop也为自己今后的发展奠基一席一路。虽然说移动互联开发也非常火，但也离不开数据，因此，大家还等什么呢。 目前，hadoop已经到了2.x，并且1.x与2.x的差别还是挺大，感觉自己都快跟不上节奏了。学习任何技术，都得有始有终，最好了解它的前世今生。所以笔者打算从1.x开始学起，并选择1.2.1
转载
2023-09-01 10:45:03
414阅读
目录一. 概述1.1 Hadoop概述1.2 Hadoop优势1.3 Hadoop 组成（面试重点）1.3.1 HDFS 架构概述1.3.2 YARN 架构概述1.3.3 MapReduce 架构概述1.3.4 HDFS、YARN、MapReduce 三者关系1.4 大数据技术生态体系二. Hadoop 运行环境搭建（开发重点）2.1 模板虚拟机环境准备2.2 在 hadoop102 安装 JD
转载
2023-07-14 15:27:44
301阅读
虚拟机的安装https://www.bilibili.com/read/cv7450678Centos系统安装https://www.bilibili.com/read/cv7456817安装SecureCRT工具https://www.bilibili.com/read/cv7457324配置虚拟网络IPhttps://www.bilibili.com/read/cv7463717使用Secur
转载
2024-07-26 12:52:55
34阅读
集群搭建在真实物理机上，为每台物理机安装Linux，这里选择的是CentOS 5.8的版本（实验室旧机器配置偏低），本人虽CS出身，现SE研一，但基础不咋地，在装Linux系统的过程中遇到诸多问题，解决起来也是一头雾水，比如在Linux磁盘分区，当初未考虑到hadoop集群用来处理大数据，分区大小完全按照普通的Linux学习机器分配，以至于后来下载大数据时磁盘空间不足（
转载
2024-04-19 17:25:05
114阅读
集群概念 计算机集群是一种计算机系统，通过一组松散继承的计算机软件或硬件连接连接起来高度紧密地协作完成计算工作。 集群系统中的单个计算机通常称为节点，通过局域网连接。 集群特点：1、效率高，通过多态计算机完成同一个工作。 2、高容错，两台或多台机内容、工作过程等完全一样，宕机一台其他机器继续工作。 Hadoop集群部署搭建步骤1、跟伪分布模式环境相同 更改主机名 设置Hosts 关闭防火墙 安装j
转载
2024-04-19 17:14:40
66阅读
个人笔记之简化版Hadoop集群搭建1.准备工作首先确保节点之间相互免秘钥（我直接恢复到免秘钥的快照）然后下载喜欢的版本的安装包，一般版本选择双数版本的，因为双数吉利嘛，所以单数版本有时候只是软件公司自己测试没问题就放出来的版本，而双数版本是经过企业实际检验过后才发布的版本，有人趟过雷了所以可以稍微放心一点用。因为电脑不行，试过了开四台虚拟机有点危险，所以这次就搭个简化不规范版的集群，nameno
转载
2023-09-14 14:00:00
149阅读
目录1 实验环境2 实验准备3 配置SSH免密登录4 Hadoop安装与配置 1 实验环境Oracle Linux 7.4JDK 1.8Hadoop 2.7.42 实验准备1.实验准备三台机器分别为master,slave1,slave2 2.单击master机器桌面中的konsole图标3 配置SSH免密登录1.编辑/etc/hosts文件,出现如下界面 [Command 001]：vim /
转载
2023-08-07 09:07:33
381阅读
(002)最近要研发一款数据传输服务的产品需要用到Hadoop集群，之前搭建过后来长时间不用就给忘记了，这次搭好来记录一下搭建方法与经验总结Hadoop集群的搭建原料：VM虚拟机JDK1.8hadoop2.7.3注：将jdk1.8.tar.gz和hadoop-2.7.3.tar.gz放在/opt/bigdata目录下（没有请自行创建） 附件： 链接：https://pan.baidu.com/s/
转载
2023-09-13 23:13:39
232阅读
Hadoop学习笔记2-安装集群的一些问题汇总首先想吐槽一下公司的电脑，讲真，作为一个技术公司，能把电脑配的这么烂，也是可以的了。i3处理器的hp笔记本。。。固态盘啊大内存啊之类的就别想了，然后触摸板还是十年前的那种风格，还想着两个指头可以上下浏览，呵呵哒….然后今天把集群搭起来了，当然了，肯定是虚拟机上，卡到99的内存占用率，没显示100估计是不想补刀吧。。。好了，吐槽完的话，下面就说下我遇到的
转载
2023-09-01 10:45:15
82阅读
文章目录一、机器准备二、安装JDK安装步骤shell脚本三、安装zookeeper安装过程修改配置文件配置zk开机自启动启动zookeepershell脚本四、配置免密登录基本步骤shell脚本五、配置Hadoop修改配置文件shell脚本 一、机器准备准备三台虚拟机master、slave1、slave2，内存4G，磁盘空间40G。 关闭防火墙，配置固定ip，使其相互ping通。配置关闭防火墙
转载
2023-06-14 21:15:41
745阅读
生产环境Hadoop大集群完全分布式模式安装2013-3-7 安装环境操作平台：vmware2操作系统：Oracle Enterprise Linux 5.6软件版本：hadoop-0.22.0,jdk-6u18集群架构：3+ node，master node(hotel01),slave node(hotel02,hotel03…)主机名IP系统版本Hadoop nodehadoop进
转载
2024-02-01 13:44:21
89阅读
生而有涯而学无涯最近使用VMWare搭建了一个虚拟的Hadoop集群环境，搭建的过程中参考了很多网上大神的资料，在这里记录下本人实践的全过程，用于以后的查询参考使用，参考的资料会在文末贴出对应的链接。集群配置详情hostnameip addressos(Centos7mini)master192.168.224.100Centos7(mini)slave1192.168.224.201Centos
转载
2023-07-12 15:42:12
183阅读
Hadoop理论hadoop的优势1.高可靠性：维护了多个数据副本，即使某个节点出现错误也不会导致数据丢失。 2. 高扩展性：集群间分配任务数据，可以方便扩展节点。 3. 高效性：在MapReduce的思想下，Hadoop是并行工作的。 4. 高可靠性：能够自动将失败的任务重新分配给其他节点。 5. 适合批处理：移动计算而非数据，将数据位置暴露给计算框架（数据块Block,每个数据块有一个Id标识
转载
2023-09-14 14:02:52
766阅读
一、MapReduce输入和输出MapReduce框架运转在<key, value>键值对上，也就是说，框架把作业的输入看成是一组<key, value>键值对，同样也产生一组<key, value>键值对作为作业的输出，这两组键值对可能是不同的。（一）输入默认读取数据的组件叫做TextInputFormat。关于输入路径︰ （1）如果指向的是一个文件，处理该文
转载
2024-06-05 15:42:58
58阅读
Hadoop集群的搭建主要分为两个部分,一个是HDFS集群(主要负责文件的存储),这里需要用到NameNode和DataNode两个部分,还有一个是Yarn(主要负责任务调度,即后面需要跑的Mapreduce),这里也是两个ResourceManager和NodeManager.下面是搭建的大致流程:  
转载
2024-04-02 09:09:31
124阅读
CentOS6.5mini版hadoop集群搭建流程 CentOS 7 系列： 关闭防火墙：systemctl stop firewalld 禁止防火墙开
文章目录三台虚拟机的集群节点规划搭建环境准备搭建Hadoop HA集群配置core-site.xml文件配置hdfs-site.xml文件配置mapred-site.xml文件配置yarn-site.xml文件配置slaves文件配置hadoop-env.sh文件分发目录初次启动Hadoop HA集群步骤效果验证问题 三台虚拟机的集群节点规划服务器Name NodeData NodeResour
转载
2023-07-12 15:19:19
68阅读
