目录:       HDFS中dfs.datanode.du.reserved系统预留容量详解(一)       HDFS中dfs.datanode.du.reserved系统预留容量详解(二)        使用hadoop版本为2.8.4,查看小结可以            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-07-12 10:03:26
                            
                                186阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
             前段时间公司hadoop集群宕机,发现是namenode 磁盘满了。。清理出部分空间后,重启集群时,重启失败。又发现集群Secondary namenode 服务也恰恰坏掉,导致所有的操作log持续写入edits.new 文件,等集群宕机的时候文件大小已经达到了丧心病狂的70G+..重启集群报错 加载edits文件失败。分析加载文件报错原因是磁盘不足导致最后写入的log只写入一半            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-07-30 09:51:30
                            
                                23阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            用于测试,我用4台虚拟机搭建成了hadoop结构我用了两个台式机。一个xp系统,一个win7系统。每台电脑装两个虚拟机,要不然内存就满了。 1、安装虚拟机环境     Vmware,收费产品,占内存较大。     或     Oracle的VirtualBox,开源产品,占内存较小,但安装ubunt            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-08-22 15:18:43
                            
                                108阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            文章目录前言一、Hadoop1.打开和关闭Hadoop命令二、HBase1.打开和关闭HBase命令三、Spark1.启动Spark-Shell2.退出Spark-Shell总结 前言最近在学习大数据技术,在这里总结一些Hadoop、HBase、Spark常用的技术指令一、Hadoop1.打开和关闭Hadoop命令代码如下(示例):#首先,进入hadoop目录下
cd /usr/local/ha            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-06-11 15:31:41
                            
                                120阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            一、命令简介  所有的hadoop命令均由bin/hadoop脚本引发。不指定参数运行hadoop脚本会打印所有命令的描述。实际上很多命令运行的时候虽然可以运行成功但是会有类似如下告警提示,这是因为调用文件系统的命名改为了hdfs,对hadoop文件系统的操作使用hdfs命令和hadoop命令效果是一样的,且建议使用hdfs。WARNING: Use of this script to execu            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-09-10 07:41:18
                            
                                238阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
             hadoop权限授权Hadoop fs -chmod -r 775向hadoop集群存放文件$ hadoop fs -put * /test/zh查看ls$  hadoop fs -ls /test/zh向hadoop集群获取文件 hadoop fs -get /test/zh/*删除hadoop文件hadoop fs -rmr /test/zh/*hadoop命令行 与job相关的:            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2017-09-01 17:40:00
                            
                                108阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            1.Hadoop操作:    
  1)查看Hadoop版本:     
  2)自动开启Hadoop: hm@hm-ubuntu:~$ start-all.sh   
  3)手动开启Hadoop:     
  2.HDFS操作:    
  1)查看HDFS上的文件:    hadoop dfs -ls / 等同于 hadoop fs -ls /    
  2)向HDFS上传文            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-06-02 10:07:56
                            
                                217阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            1、Linux中关于用户、组的一些操作查看当前登录用户名whoami查看当前登录用户的组内成员groups查看用户 zhangsan 所在的组,以及组内成员groups zhangsan
# 显示情况
zhangsan : group_name在Linux中添加一个组:groupadd 组名在Linux中添加一个用户:useradd 用户名
#或者
adduser 用户名新建用户后,将会在/ho            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-09-20 12:44:54
                            
                                462阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            hadoop 界面查看任务日志            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-06-02 10:31:28
                            
                                260阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            我们安装完hadoop,下面我们从视觉上看看hadoop怎么玩的。我们可以在win7系统上,通过web界面,在浏览器地址栏输入地址,直接查看hadoop的运行情况;  192.168.206.21:50030这个里面,我们可以看到Map/Reduce的管理情况 192.168.206.21:50070这里可以看到HDFS的管理情况。 但是在这里,会有一个问题            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-07-30 12:31:05
                            
                                120阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            HDFS 常用命令:命令说明hadoop fs -mkdir创建HDFS目录hadoop fs -ls列出HDFS目录hadoop fs -copyFormLocal使用-copyFromLocal复制本地(local)文件到HDFShadoop fs -put使用-put 复制本地(local)文件到HDFShadoop fs -cat列出HDFS目录下的文件内容hadoop fs -copyT            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-05-19 11:33:19
                            
                                402阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            环境:CentOS6.5内容只针对本机,做一个个人的笔记记录#启动hadoop进程
 ./sbin/start-all.sh
#想要打开浏览器查看HDFS和YARN的集群状态。必须要执行下面两个语句:
#关闭防火墙
service iptables stop
#关闭防火墙开机启动
chkconfig iptables off
然后访问http://192.168.153.128:8088查看YA            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-09-20 10:40:38
                            
                                79阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            慕码人在Linux上安装Hadoop之前,需要先安装两个程序:  1. JDK 1.6或更高版本;  2. SSH(安全外壳协议),推荐安装OpenSSH。  下面简述一下安装这两个程序的原因:  1. Hadoop是用Java开发的,Hadoop的编译及MapReduce的运行都需要使用JDK。  2. Hadoop需要通过SSH来启动salve列表中各台主机的守护进程,因此SSH也是必须安装的            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-07-19 13:22:45
                            
                                44阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            目录1.启动9870端口服务2.加载镜像文件和编辑日志3.创建RPC服务4.对NameNode启动资源检查5.DataNode心跳超时判断6.安全模式  以hadoop3.x版本为例 namenode启动时大致有6个步骤1)首先启动9870端口2)启动完端口之后开始加载镜像文件和编辑日志3)紧接着创建RPC服务4)然后开始对NameNode的资源进行检测 
  检测当前磁盘空间是否能够启动Nam            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-09-01 08:44:37
                            
                                117阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            Hadoop集群基础操作Hadoop集群基本信息查看集群存储信息查看登录HDFS监控web查看运行情况及相关存储信息,默认端口为50070,具体以hdfs-site.xml文件中配置为准<!-- 定义namenode界面的访问地址 -->
<property>
	<name>dfs.http.address</name>
	<value>            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-07-12 15:08:51
                            
                                487阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            文章目录一、通过UI界面查看Hadoop运行状态1、查看HDFS集群状态2、查看YARN集群状态二、Hadoop集群 —— 词频统计1、启动Hadoop集群2、在虚拟机上准备文件3、文件上传到HDFS指定目录4、运行词频统计程序的jar包5、在HDFS集群UI界面查看结果文件6、在YARN集群UI界面查看程序运行状态 一、通过UI界面查看Hadoop运行状态Hadoop集群正常启动后,它默认开放            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-07-12 12:35:43
                            
                                1205阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            Hadoop 空间不足,hive首先就会没法跑了,进度始终是0%。将HDFS备份数降低将默认的备份数3设置为2。 步骤:CDH–>HDFS–>配置–>搜索dfs.replication–>设置为2 删除无用HDFS数据和Hbase表格主要使用命令hadoop fs -du,hadoop fs -ls,hadoop fs -rm 空间不足根本的解            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-07-20 23:31:51
                            
                                181阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            文章目录Hadoop 分布式环境搭建一 Hadoop 运行环境搭建1.1 虚拟机环境准备1.2 安装 jdk1.8二 Hadoop 运行模式2.1 本地运行模式2.2 伪分布式运行模式2.3 完全分布式运行模式 Hadoop 分布式环境搭建一 Hadoop 运行环境搭建1.1 虚拟机环境准备1) 准备一台虚拟机,操作系统 centos7.0 2) 配置虚拟机的静态 ip 3) 修改主机名为 ha            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-08-02 12:09:36
                            
                                21阅读
                            
                                                                             
                 
                
                             
         
            
            
            
              我们安装完hadoop,下面我们从视觉上看看hadoop怎么玩的。我们可以在win7系统上,通过web界面,在浏览器地址栏输入地址,直接查看hadoop的运行情况; 10.10.11.191:50030这个里面,我们可以看到Map/Reduce的管理情况  10.10.11.191:50070这里可以看到HDFS的管理情况。 但是在这            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-05-24 15:28:39
                            
                                278阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            学习Hadoop的两个条件:会用Linux;会Java语言。 
 
  尽管Hadoop也支持其他语言开发,但在学习阶段用Java开发最容易理解Hadoop。 
  
  
  1. 操作系统ubuntu-10.04 桌面版。 
 
      不同发行版的Linux的安装过程基本类似,没太大的差别。 
 
  2. Hadoop现在的稳版本是1.1.            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-08-02 13:45:17
                            
                                28阅读