文章目录场景一:查看配置信息、git账号、邮箱、密码场景二:在本地idea中利用git拉取远程仓库代码,创建本地工程场景三:拉取,推送、切换分支、创建分支、更新拉取远程主仓库新建的分支等场景四:commit的时候如何排除不需要合并提交的文件场景五:commit后想改备注怎么操作场景六:commit后还没push,想取消commit怎么办场景七:commit并push到远端,想要取消怎么办场景八:            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-03-29 07:50:08
                            
                                61阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            hdef shell命令hdfs dfs //显示hdfs shell客户端命令 df 磁盘剩余空间1.从本地上传数据文件登录一台DN或者NN 创建一个文件cd /opt/installpkg/
vim word.txt
hdfs dfs -copyFromLocal word.txt /
//将当前本地的文件word 上传到根hdfs目录查看文件
cd /usr/local/apps/hadoo            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-09-11 17:26:34
                            
                                48阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            HDFS入门(五)—— NameNode 和 SecondaryNameNode (图文详解步骤2021)引入 文章目录HDFS入门(五)—— NameNode 和 SecondaryNameNode (图文详解步骤2021)5.1 NN 和 2NN 工作机制NameNode工作机制1 ) 第一 阶段:NameNode 启动2 ) 第二 阶段:Secondary NameNode 工作5.2 Fs            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-03-24 20:05:45
                            
                                57阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            使用fuse挂载hdfs文件系统    本文参照了很多其他人的blog和文档,首先表示感谢!,FUSE)允许一些文件系统整合为一个Unix文件系统在用户空间中执行。通过使用Hadoop的Fuse-DFS分类模块,任意一个Hadoop文件系统(不过一般为HDFS)都可以作为一个标准文件系统进行挂载。我们随后便可以使用Unix的工具(如ls和cat)与这个文件系统交互            
                
         
            
            
            
            【概述】在HDFS中,namenode保存了整个HDFS的元数据信息,而这些数据最终会被持久化到fsimage文件和editLog文件。换而言之,namenode的元数据信息由fsimage和editlog组成。其中,fsimage存放上次checkpoint生成的文件系统元数据,而editLog则存放文件系统的操作日志;也就是用户对目录、文件的每个写操作(包括创建、删除、写入等)都会被记录到ed            
                
         
            
            
            
            1,安装fuseyum -y install hadoop-hdfs-fuse2.修改环境变量vi /etc/profile增加如下配置:JAVA_HOME=/usr/jdk64/jdk1.8.0_60HADOOP_HOME=/usr/hdp/2.4.0.0-169/hadoopexport PATH=$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATHexport LD_L            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-02-21 22:52:13
                            
                                112阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            NameNode和DataNode的概述NameNode概述: 1.NameNode也称为Master,是HDFS的核心   2.NameNode仅存储HDFS的元数据,文件系统中所有文件的目录树,并限制整个集群中的文件   3.NameNode不存储实际文件中的数据,数据本身实际存储在DataNode中   4.NameNode知道HDFS中任何给定文件中            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-04-17 12:21:46
                            
                                239阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            HDFS简介分布式文件系统HDFS(Hadoop Distributed File System) 文件系统结构 HDFS优势:兼容廉价的硬件设备实现流数据读写(全部或大部分数据读写,不会读写指定数据)支持大数据集支持简单的文件模型强大的跨平台兼容性(java语言写的)HDFS自身的局限性:不适合低延迟数据访问,实时性不高(HBase可以)无法高效储存大量小文件(寻址耗时)不支持多用户写入及任意修            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-04-15 06:28:41
                            
                                36阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            一、简介      HDFS在数据传输过程中,针对数据块Block,不是整个block进行传输的,而是将block切分成一个个的数据包进行传输。而DFSPacket就是HDFS数据传输过程中对数据包的抽象。二、实现      HDFS客户端在往DataNodes节点写数据时,会以数据包packet的形式写入,且每个数据包包含一个            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-04-23 10:16:48
                            
                                26阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            Hdfs的访问方式有两种,第一:类似linux命令,hadoop shell。第二:java API方式。先看第一种。 FS Shell
catchgrpchmodchowncopyFromLocalcopyToLocalcpdudusexpungegetgetmergelslsrmkdirmovefromLocalmvputrmrmrsetrepstattailtesttexttouc            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-07-29 16:56:49
                            
                                24阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            HDFS是什么hdfs是hadoop项目的核心子项目,是一个分布式存储的文件系统。具有以下特点:高容错性。hdfs自动创建多个副本。当某一个副本丢失hdfs会复制其他机器上的副本适合大数据处理,能够处理GB,TB,PB级别的数据基于硬盘迭代的IO。一旦写入就不能修改。可以装在廉价的机器上HDFS的常用命令versionversion可以用来查看版本[hadoop@hadoop01 bin]$ ha            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-03-04 04:52:23
                            
                                86阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            目录1、HDFS 前言 ................................................................................................................................... 12、HDFS 相关概念和特性 ........................................            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-06-19 10:13:46
                            
                                152阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            HDFS命令行接口前言:Hadoop自带一组命令行工具,而其中有关HDFS的命令是其工作集的一个子集。命令行工作虽然是最基本的文件操作方式但也是最常用的,所以熟练掌握是很必要的1. 目录浏览命令 lshdfs dfs -ls <path> 列出文件和目录内容例子:hdfs dfs -ls / lsr hdfs dfs -lsr <path&            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-11-18 23:07:04
                            
                                340阅读
                            
                                                                             
                 
                
                             
         
            
            
            
                 Hadoop中的NameNode好比是人的心脏,非常重要,绝对不可以停止工作。在hadoop1时代,只有一个NameNode。如果该NameNode数据丢失或者不能工作,那么整个集群就不能恢复了。这是hadoop1中的单点问题,也是hadoop1不可靠的表现。hadoop2就解决了这个问题。     hado            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-08-02 14:37:36
                            
                                61阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            26 集群使用初步 HDFS的设计思路l 设计思想   分而治之:将大文件、大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量数据进行运算分析; l 在大数据系统中作用:为各类分布式运算框架(如:mapreduce,spark,tez,……)提供数据存储服务 l 重点概念:文件切块,副本存放,元数据   26.            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-04-17 09:23:05
                            
                                464阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            环境准备:linux机器上 Hadoop单点部署完成,Java运行环境搭建完成1. 启动Hadoop的hdfs相关进程cd /apps/hadoop/sbin/
./start-dfs.sh2.使用jps查看HDFS是否启动jps显示如下信息:705 SecondaryNameNode 853 Jps 519 DataNode 409 NameNode 看到这些信息后说明我们的相关进程已经启动成功            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-08-18 19:27:28
                            
                                166阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            HDFS存储模型以字节形式存储文件线性切割成块(Block):偏移量 offset (byte)Block分散存储在集群节点中单一文件Block大小一致,文件与文件可以不一致Block可以设置副本数,副本无序分散在不同节点中副本数不要超过节点数量文件上传可以设置Block大小和副本数(资源不够开辟的进程)已上传的文件Block副本数可以调整,大小不变(2.x 128MB 3 blocks)只支持一            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-06-04 20:27:05
                            
                                36阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            一、查看HDFS下的参数信息[root@master ~]# hdfs
Usage: hdfs [--config confdir] COMMAND
       where COMMAND is one of:
  dfs                  run a filesystem command on the file systems supported in Hadoop.
  na            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-06-06 13:14:02
                            
                                223阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            在安装好hadoop集群并成功的启动了hdfs之后,我们就可以利用hdfs对文件进行操作了,一下是对文件的一些基本操作
hdfs基本操作
1、查询命令
  hadoop dfs -ls /   查询/目录下的所有文件和文件夹
  hadoop dfs -ls -R 以递归的方式查询/目录下的所有文件            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-07-05 12:54:01
                            
                                756阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            HDFS集群包括,NameNode和DataNode以及Secondary Namenode。NameNode负责管理整个文件系统的元数据,以及每一个路径(文件)所对应的数据块信息;DataNode 负责管理用户的文件数据块,每一个数据块都可以在多个datanode上存储多个副本,Secondary NameNode用来监控HDFS状态的辅助后台程序,每隔一段时间获取HDFS元数据的快照。一、Na            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-05-07 10:47:44
                            
                                170阅读
                            
                                                                             
                 
                
                                
                    