之前一直使用hdfs的命令进行hdfs操作，比如：hdfs dfs -ls /user/spark/
hdfs dfs -get /user/spark/a.txt /home/spark/a.txt #从HDFS获取数据到本地
hdfs dfs -put -f /home/spark/a.txt /user/spark/a.txt #从本地覆盖式上传
hdfs dfs -mkdir -p /us
转载
2023-09-08 17:27:46
33阅读
hadoop是基于java编写的分布式框架，要安装hadoop，必须先安装java的开发环境jdk下载http://www.oracle.com/technetwork/java/javase/downloads/java-archive-javase8-2177648.htmlhadoop官网下载http://www.apache.org/dyn/closer.cgi/hadoop/
第一部分谷歌翻译版；下边有英语版 Apache Hadoop的安全性是在2009年左右设计和实施的，此后一直保持稳定。但是，由于缺少有关此领域的文档，因此出现问题时很难理解或调试。设计了委托令牌，并将其作为身份验证方法在Hadoop生态系统中广泛使用。这篇博客文章介绍了Hadoop分布式文件系统（HDFS）和Hadoop密钥管理服务器（KMS）上下文中的Hadoop委托令牌的
https://www.cloudera.com/documentation/enterprise/5-10-x/topics/admin_hdfs_balancer.html 1.快速入门当前存储集群的DN的空间占用率很不均衡，最大的使用率接近100%，最小的使用率不到35%。为了平衡空间的占用率，我们在CDH上开启了“重新平衡”。调用的脚本实际如下：hd
转载
2024-03-07 19:35:40
198阅读
文章目录1. HDFS概述1.1 HDFS背景1.2 定义2. HDFS优缺点2.1 优点2.2 缺点3. HDFS架构4. HDFS文件块大小 1. HDFS概述1.1 HDFS背景面对今天的互联网公司，每天都会有上亿次的用户访问量，用户每进行一次操作，都会产生数据，面对传统的存储系统不能满足存储要求，迫切需要一种系统来管理多台机器上的文件，这种系统就是分布式文件管理系统。HDFS只是分布式文
转载
2024-05-28 22:57:52
31阅读
问题描述：远程桌面连接连不上，出现如下错误排查过程：1.首先肯定是查看计算机右键-属性-远程设置，勾选“允许运行任意版本远程桌面的计算机连接（较不安全）”2.百度远程连接不上的各种解决方法，排除以下原因： 1）确定已经为防火墙设置远程桌面连接例外 2）已经打开远程桌面连接服务 由于我关闭防火墙远程连接也无法连接上，因此，我判断
文章目录HDFS 2.X新特性1. 集群间数据拷贝2. 小文件存档☆HDFS存储小文件弊端解决存储小文件办法之一案例实操3. 回收站回收站参数设置及工作机制启用回收站修改访问垃圾回收站用户名称查看回收站恢复回收站数据清空回收站4. 快照管理案例实操☆ HDFS 2.X新特性1. 集群间数据拷贝scp实现两个远程主机之间的文件复制distcp命令实现两个Hadoop集群之间的递归数据复制（了解一下
SpringBoots使用Hibernate连接数据库。 环境：IDea springBoot版本：2.1.7 Oracle 11g 中间件：tomcat8（使用8以下的版本在运行程序时会出现一些问题） 项目结构,如图：使用到的jar包列表（要特别注意引用的jar包的版本，博主在整合hibernate时由于引入的jar包版本不合适，出了好多问题。）配置文件： web.xml<?xml ver
转载
2024-03-18 18:15:16
69阅读
打怪升级之小白的大数据之旅(四十六)HDFS各模块的原理上次回顾上一章，我们学习了HDFS的基本知识以及一些常用的操作，本章，我们对HDFS各模块的原理进行讲解，了解清楚这些，可以更好的辅助我们理解HDFSHDFS的数据流HDFS是以流的方式对数据进行存储与读取的，下面我们就根据它的底层原理来认识HDFS的写入与读取逻辑HDFS写数据流程写数据的流程分为三块：文件写入、网络拓扑以及机架感知，下面我
使用hadoop3.1.5，centOS 7，以及jdk8作为实验环境。完成hadoop，三个模块，安装，调试，以及简单实验。此文章最后将分析一段日志里面的单词的出现个数，作为实验的最终目的。1.hdfs(Hadoop Distributed File System)（其实就是一个文件系统，理解成存放数据的大硬盘）2.yarn(Yet Another Resource Negotiator)(一个
转载
2024-10-12 13:11:41
63阅读
1 HDFS体系结构简介及优缺点1.1体系结构简介HDFS是一个主/从(Mater/Slave)体系结构，从最终用户的角度来看，它就像传统的文件系统一样，可以通过目录路径对文件执行CRUD(Create、Read、Update和Delete)操作。但由于分布式存储的性质，HDFS集群拥有一个NameNode和一些DataNode。NameNode管理文件系统的元数据，DataNode存储实际的数据
转载
2024-06-25 09:08:33
30阅读
1.Hadoop1、Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 2、主要解决，海量数据的存储和海量数据的分析计算问题。 3、广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈1.1三大发行版本 Apache 最原始的版本，对于入门学习最好 Cloudera 在大型互联网企业中用的比较多 Hortonworks 文档较好1.2Hadoop的优势（4高） 1
转载
2024-03-17 14:30:48
30阅读
性能方面， s3fs 和 goofys 在 read 和 write 方面没有本地缓存，其性能是依靠 s3 的性能来支撑的，这两个文件系统整体的性能相比JuiceFS 会低一些。最明显的是 mv，对象存储没有 rename 操作，在对象存储中进行 rename 操作就是一个 copy 加 delete，性能代价是非常大的。ls 方面，对象存储的存储类型是 kv 存储，不具备目录语义，所
转载
2024-04-19 18:51:43
170阅读
1 HDFS概述1.1 产生背景和定义1）HDFS产生背景 随着数据流越来越大，在一个操作系统存不下所有数据时，就需要分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS是分布式文件管理系统中的一种。2）HDFS定义 HDFS(Hadoop Distributed File System)，它是一个文件系统，用于存储文件
转载
2024-04-07 06:42:39
68阅读
如今我们来深入了解一下Hadoop的FileSystem类。这个类是用来跟Hadoop的文件系统进行交互的。尽管我们这里主要是针对HDFS。可是我们还是应该让我们的代码仅仅使用抽象类FileSystem。这样我们的代码就能够跟不论什么一个Hadoop的文件系统交互了。在写測试代码时，我们能够用本地文件系统測试，部署时使用HDFS。仅仅需配置一下，不须要改动代码了。 在Hadoop 1.x以后的...
转载
2016-03-14 16:55:00
474阅读
2评论
HDFS缓存与缓存块HDFS的缓存与我们平常所说的缓存（cache）在作用上是一致的，主要是为了减少重复的数据请求过程。但是在具体实现上，我们平常所用的缓存可能只由一个简单的缓冲数组构成，而HDFS用的是缓存块（cacheblock）的概念。HDFS的缓存块由普通的文件块转换而来，同样也可以转换回去。HDFS缓存的出现可以大大提高用户读取文件的速度，因为它是缓存在DataNode内存中的，此过程无
转载
2024-03-16 08:39:31
49阅读
背景在Hadoop 2.0.0之前，NameNode是HDFS集群中的单点故障（SPOF）。每个群集都有一个NameNode，如果该机器或进程不可用，整个群集将不可用，直到NameNode重新启动或在单独的计算机上启动为止。HDFS高可用性功能通过提供在具有热备份的主动/被动配置中在同一集群中运行两个冗余NameNode的选项来解决上述问题。这允许在计算机崩溃的情况下快速故障转移到新的NameNo
转载
2024-04-19 17:56:08
56阅读
HDFS的介绍HDFS演变源于谷歌GFS论文DataNode（服务器A）存储文件的分割信息，文件和目录信息。DataNode（服务器B。C。D）存储分布式文件，并且备份在不同的服务器上。HDFS基本概念概念是一个易于扩展分布式文件存储系统，运行在成百上千台低成本的机器上。用于海量文件信息进行存储和管理。解决TB，PB的存储问题NameNode（名称节点/主节点） 是hdfs集群的主节点，NameN
转载
2024-03-22 15:20:19
503阅读
在嵌入式开发中使用NFS 挂在根文件系统进行应用程序和驱动的调试是必备技能，在程序调试ok后可以从NFS文件系统切换InitRamFs(基于内存)、yaffs(基于NAND FLASH)、jiffs(基于NOR FLASH) 等进行程序的批量烧写。首先我们先配置PC端(ubuntu)1. 安装NFS 服务器（以ubuntu为例）sudo apt-get install nfs-kernel-ser
转载
2024-03-28 12:33:31
60阅读
目录前言：1、HDFS基本概念2、HDFS基本操作总结： 目录前言：总算有空来接着写大数据的学习笔记了，今天就把之前学过的HDFS的基础知识详细的介绍一下，如有哪点写的不足希望大家多多指教。1、HDFS基本概念1.1、前言： 设计思想 分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析。 在大数据系统中作用： 为各类分布式运算框架（如：m
转载
2023-12-01 23:32:42
155阅读
