1、检查网络状况Dos命令：ping ip地址,同时，在Linux下通过命令：ifconfig可以查看ip信息2、修改虚拟机的ip地址 打开linux网络连接，在桌面右上角，然后编辑ip地址，修改ip地址后，重启网络服务：service network restart,如果网络重启失败，可以在虚拟机网络设置中心删除网络连接，然后重新启动Linux，接着在网络设置
转载
2023-07-14 19:17:18
720阅读
复制数据rsync -r spark-1.6.1 root@10.161.20.93:/mnt/sd02scp -r spark-1.6.1 root@10.161.20.93:/mnt/sd02 1.修改IP第一种：通过Linux图形界面进行修改（强烈推荐）进入Linux图形界面 -> 右键点击右上方的两个小电脑 -> 点击Edit connections -> 选中
转载
2024-04-29 16:46:40
69阅读
Centos7搭建Hadoop集群V3.3.4一、准备工作1、配置hostname2、hosts映射3、关闭防火墙4、同步时间5、关闭selinux6、配置ssh免密登陆7、重启二、安装所需环境1、jdk安装2、hadoop安装三、修改配置hadoop-env.shcore-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xmlworkers四、初始化
转载
2023-12-04 19:55:36
32阅读
目录一、安装准备二、JDK安装及配置三、Hadoop安装及配置1、修改配置2、启动Hadoop 一、安装准备系统：centos7 安装包： ①jdk-8u221-linux-x64.tar.gz ②hadoop-2.6.0-cdh5.14.2.tar.gz ③hadoop-native-64-2.6.0.tar（用作除去警告） 安装包需要自取（6z6z）:jdk、hadoop安装包 利用moba
转载
2023-09-06 22:20:44
35阅读
Centos7的安装与配置Centos7的安装首先，打开，选择新的创建虚拟机 然后选择典型即可 选择Centos光盘映像在本地的储存位置，接着下一步 继续填写主机名和用户，以及用户的密码，注意密码不要太难，忘记找回会比较麻烦 现在填写虚拟机的名称，以及虚拟机的储存位置，位置不要放在C盘下，后面虚拟机的内存会越来越大滴
转载
2023-10-11 10:17:31
5阅读
1.安装ssh免密登录命令：ssh-keygenoverwrite(覆盖写入)输入y一路回车 将生成的密钥发送到本机地址ssh-copy-id localhost （若报错命令无法找到则需要安装openssh-clients）命令：yum –y install openssh-clients &n
转载
2023-10-10 07:09:23
447阅读
本文是对之前的五篇文章的汇总和优化。 文章目录一、安装 JDK1. 解压安装包2. 配置环境变量二、重命名节点1. 添加主机名和 ip 映射2. 配置无密码登录3. 重命名三、给节点配置 JDK1. 传输文件2. 验证四、全分布式 Hadoop 安装1. 解压安装包2. 配置环境变量3. 配置 hadoop-env.sh 和 yarn-env.sh 文件4. 配置 core-site.xml 文件
转载
2023-07-04 10:54:47
132阅读
学习hadoop之一，centos7群集安装配置
一、 安装centos71、 设置硬盘为单文件40G、CPU 2核、内存2G。其他默认。2、 安装时选择gnome，具备操作界
转载
2023-07-07 14:11:51
46阅读
我们数据组通过三周的努力，整个集群都变成了可压缩各种模式。具体操作：hbase的数据迁移，hive的数据迁移首先说说hbase的数据迁移，数据采用了Gz的压缩模式并且rowkey进行了调整后，整个hbase集群region的分布更加合理，主要是从以下几个方面：1、磁盘空间利用率提高了，现在压缩后，占用300多个GB的空间2、region大小更加均衡（不会出现之前的有些region大小几个GB，有些
转载
2023-12-21 10:55:55
39阅读
1.为什么使用lzo?2.如何安装配置lzo？3.如何使用lzo？Hadoop经常用于处理大量的数据，如果期间的输出数据、中间数据能压缩存储，对系统的I/O性能会有提升。综合考虑压缩、解压速度、是否支持split，目前lzo是最好的选择。LZO（LZO是Lempel-Ziv-Oberhumer的缩写）是一种高压缩比和解压速度极快的编码，它的特点是解压缩速度非常快，无损压缩，压缩后的数据能准确还原，
转载
2023-07-25 19:29:45
66阅读
监控指标大致如下： default.shuffleInput
dfs.datanode
jvm
mapred.shuffleOutput
rpc
metricssystemdfs.datanode.blockChecksumOp_avg_time 块校验平均时间 dfs.datanode.blockChecksumOp_nu
一、统一配置系统环境(除了特别提醒之外，所有步骤三台都需要安装)配置说明CDH需要内存要求比较高，本教程在在家用台式家16G VMware虚拟机情况下安装。hadoop-master 8G
hadoop-node01 2G
hadoop-node02 2G编辑hosts文件echo -e '10.0.102.218 hadoop-master \n10.0.102.133 hadoop-node
转载
2024-10-25 21:14:21
39阅读
Hadoop环境变量在/home/dbrg/HadoopInstall/hadoop-conf目录下的hadoop_env.sh中设置Hadoop需要的环境变量，其中JAVA_HOME是必须设定的变量。HADOOP_HOME变量可以设定也可以不设定，如果不设定，HADOOP_HOME默认的是bin目录的父目录，即本文中的/home/dbrg/HadoopInstall/hadoop。我的是这样设置
转载
2024-10-12 12:01:12
22阅读
# 一探Hadoop与CDH的魅力
## 什么是Hadoop？
Hadoop 是一个用于处理大数据的开放源代码框架。它以分布式存储和分布式计算为核心，旨在以高效的方式处理海量数据。Hadoop 的生态系统由多个组件组成，其中最重要的两部分是：
- **HDFS (Hadoop Distributed File System)**: 用于分布式存储。
- **MapReduce**: 用于分布
原创
2024-10-05 03:45:11
51阅读
在搭建和维护Hadoop集群时，用户常常会遇到“hadoop 镜像地址”的相关问题。这个问题主要体现在Hadoop的安装与配置过程中，合理的镜像配置能极大提高环境构建的效率和成功率。以下是我在解决这一问题中的详细记录。
### 环境配置
首先，确保我们拥有构建Hadoop所需的所有依赖。以下是依赖版本的表格：
| 依赖组件 | 版本 |
|---------
下载hadoop安装包可以到这个网站上下载http://www.apache.org/dist//hadoop/core/如果下载不下来自己到网上找找很多的。选一个版本下载。我用的是hadoop-0.20.2。2.解压到一个目录下。随便选择按个目录。建议直接选择一个根目录。随后进行配置。这里配置的是伪分布式了。需要配置四个文件。都在conf目录下。分别为：hadoop-env.sh、core-si
转载
2024-07-26 12:50:50
58阅读
准备工作主机名称系统环境ip地址hadoop-mastercentos7192.168.150.181hadoop-slave1centos7192.168.150.182hadoop-slave2centos7192.168.150.1831.下载hadoop 本文用的是hadoop-2.7.3的版本下载hadoop的链接：http://hadoop.apache.org/releases.ht
转载
2023-09-14 13:06:46
67阅读
一、准备工作在VMware官网下载虚拟机 本文使用到的centos为7.8 2003 Apache开源网站上下载hadoop，版本根据自己需要下载，本文采用2.7.7版本 ssh远程工具，本文使用到的有xshell，xftp。 hadoop需要Java的环境，本文使用jdk1.8二、虚拟机里安装centos注意：安装后如果提示 大部分原因是BIOS里面未开启，这里每种品牌的电脑的开启有所不同，如果
转载
2023-09-14 13:07:06
62阅读
# Hadoop在CentOS上的安装与使用
## 介绍
Hadoop是一个开源的分布式计算框架，被广泛应用于大数据处理和分析。它能够处理大量的数据并能够在不同的计算节点上并行执行任务。本文将向你介绍如何在CentOS操作系统上安装和使用Hadoop。
## 系统要求
在开始安装Hadoop之前，请确保你的系统满足以下要求：
- 一个运行CentOS操作系统的机器
- Java运行环境（
原创
2023-09-24 09:04:56
21阅读
一、Hadoop1、简介Hadoop是一个由Apache基金会开发阿德分布式系统基础架构主要解决，海量数据的存储和海量数据的分析计算问题PS：储存大小数量级：兆M->吉G->太T->拍P->艾E->泽ZHadoop三大发行版本：Apache（最原始，最基础，开源）、Cloudera（大型互联网企业中用的多）、Hortonworks（文档较好）2、优势可靠性：Hadoo
转载
2023-08-18 19:36:39
104阅读
