hadoop是基于java编写的分布式框架，要安装hadoop，必须先安装java的开发环境jdk下载http://www.oracle.com/technetwork/java/javase/downloads/java-archive-javase8-2177648.htmlhadoop官网下载http://www.apache.org/dyn/closer.cgi/hadoop/
之前一直使用hdfs的命令进行hdfs操作，比如：hdfs dfs -ls /user/spark/
hdfs dfs -get /user/spark/a.txt /home/spark/a.txt #从HDFS获取数据到本地
hdfs dfs -put -f /home/spark/a.txt /user/spark/a.txt #从本地覆盖式上传
hdfs dfs -mkdir -p /us
转载
2023-09-08 17:27:46
33阅读
第一部分谷歌翻译版；下边有英语版 Apache Hadoop的安全性是在2009年左右设计和实施的，此后一直保持稳定。但是，由于缺少有关此领域的文档，因此出现问题时很难理解或调试。设计了委托令牌，并将其作为身份验证方法在Hadoop生态系统中广泛使用。这篇博客文章介绍了Hadoop分布式文件系统（HDFS）和Hadoop密钥管理服务器（KMS）上下文中的Hadoop委托令牌的
https://www.cloudera.com/documentation/enterprise/5-10-x/topics/admin_hdfs_balancer.html 1.快速入门当前存储集群的DN的空间占用率很不均衡，最大的使用率接近100%，最小的使用率不到35%。为了平衡空间的占用率，我们在CDH上开启了“重新平衡”。调用的脚本实际如下：hd
转载
2024-03-07 19:35:40
198阅读
文章目录1. HDFS概述1.1 HDFS背景1.2 定义2. HDFS优缺点2.1 优点2.2 缺点3. HDFS架构4. HDFS文件块大小 1. HDFS概述1.1 HDFS背景面对今天的互联网公司，每天都会有上亿次的用户访问量，用户每进行一次操作，都会产生数据，面对传统的存储系统不能满足存储要求，迫切需要一种系统来管理多台机器上的文件，这种系统就是分布式文件管理系统。HDFS只是分布式文
转载
2024-05-28 22:57:52
31阅读
问题描述：远程桌面连接连不上，出现如下错误排查过程：1.首先肯定是查看计算机右键-属性-远程设置，勾选“允许运行任意版本远程桌面的计算机连接（较不安全）”2.百度远程连接不上的各种解决方法，排除以下原因： 1）确定已经为防火墙设置远程桌面连接例外 2）已经打开远程桌面连接服务 由于我关闭防火墙远程连接也无法连接上，因此，我判断
文章目录HDFS 2.X新特性1. 集群间数据拷贝2. 小文件存档☆HDFS存储小文件弊端解决存储小文件办法之一案例实操3. 回收站回收站参数设置及工作机制启用回收站修改访问垃圾回收站用户名称查看回收站恢复回收站数据清空回收站4. 快照管理案例实操☆ HDFS 2.X新特性1. 集群间数据拷贝scp实现两个远程主机之间的文件复制distcp命令实现两个Hadoop集群之间的递归数据复制（了解一下
SpringBoots使用Hibernate连接数据库。 环境：IDea springBoot版本：2.1.7 Oracle 11g 中间件：tomcat8（使用8以下的版本在运行程序时会出现一些问题） 项目结构,如图：使用到的jar包列表（要特别注意引用的jar包的版本，博主在整合hibernate时由于引入的jar包版本不合适，出了好多问题。）配置文件： web.xml<?xml ver
转载
2024-03-18 18:15:16
69阅读
打怪升级之小白的大数据之旅(四十六)HDFS各模块的原理上次回顾上一章，我们学习了HDFS的基本知识以及一些常用的操作，本章，我们对HDFS各模块的原理进行讲解，了解清楚这些，可以更好的辅助我们理解HDFSHDFS的数据流HDFS是以流的方式对数据进行存储与读取的，下面我们就根据它的底层原理来认识HDFS的写入与读取逻辑HDFS写数据流程写数据的流程分为三块：文件写入、网络拓扑以及机架感知，下面我
使用hadoop3.1.5，centOS 7，以及jdk8作为实验环境。完成hadoop，三个模块，安装，调试，以及简单实验。此文章最后将分析一段日志里面的单词的出现个数，作为实验的最终目的。1.hdfs(Hadoop Distributed File System)（其实就是一个文件系统，理解成存放数据的大硬盘）2.yarn(Yet Another Resource Negotiator)(一个
转载
2024-10-12 13:11:41
63阅读
前言hive经常用于数仓，但是由于他的计算引擎（默认是MR）不支持DAG(Directed Acyclic Graph)DAG解释，所以导致效率低下，所以一般生产中用集成Tez详细配置解析，笔者就在这里简单的记录下配置。 这里提供一个hive基础详解点这里！！！基础详解解压安装将apache-tez-0.9.1-bin.tar.gz上传到HDFS的/tez目录下。这一步是因为tez是在yarn上运
转载
2024-08-06 23:02:12
118阅读
1 HDFS体系结构简介及优缺点1.1体系结构简介HDFS是一个主/从(Mater/Slave)体系结构，从最终用户的角度来看，它就像传统的文件系统一样，可以通过目录路径对文件执行CRUD(Create、Read、Update和Delete)操作。但由于分布式存储的性质，HDFS集群拥有一个NameNode和一些DataNode。NameNode管理文件系统的元数据，DataNode存储实际的数据
转载
2024-06-25 09:08:33
30阅读
1.HDFS前言设计思想分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析；在大数据系统中作用：为各类分布式运算框架（如：mapreduce，spark，tez，……）提供数据存储服务重点概念：文件切块，副本存放，元数据 2.HDFS的概念和特性Hadoop Distributed File System首先，它是一个文件系统，用于存
转载
2024-05-11 13:40:10
177阅读
首先 dfs.replication这个参数是个client参数，即node level参数。需要在每台datanode上设置。
其实默认为3个副本已经够用了，设置太多也没什么用。一个文件，上传到hdfs上时指定的是几个副本就是几个。以后你修改了副本数，对已经上传了的文件也不会起作用。可以再上传文件的同时指定创建的副本数Hadoop dfs -D dfs.replication=1 -put 70
原创
2023-05-31 11:14:19
583阅读
配置文件hadoop的配置是由两种重要类型的配置文件进行驱动的：默认是只读的配置：core-default.xml, hdfs-default.xml, yarn-default.xml and mapred-default.xml。特殊节点配置：conf/core-site.xml, conf/hdfs-site.xml, conf/yarn-site.xml and conf/mapred-s
转载
2023-07-16 22:49:46
136阅读
hdfs namenode: 9870datanode端口如下：
原创
2022-01-18 11:04:11
138阅读
1.Hadoop1、Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 2、主要解决，海量数据的存储和海量数据的分析计算问题。 3、广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈1.1三大发行版本 Apache 最原始的版本，对于入门学习最好 Cloudera 在大型互联网企业中用的比较多 Hortonworks 文档较好1.2Hadoop的优势（4高） 1
转载
2024-03-17 14:30:48
30阅读
hdfs namenode: 9870datanode端口如下：
原创
2021-12-31 14:45:00
380阅读
随着信息技术的高度发展，数据量越来越多，当一个操作系统管辖范围存储不下时，只能将数据分配到更多的磁盘中存储，但是数据分散在多台磁盘上非常不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，因此诞生了分布式文件系统。HDFS(Hadoop Distribute File System)是一种能运行在通用硬件上的分布式文件系统，具有高度容错的特点，适合部署在廉价的机器上。由于hadoop1和
转载
2023-08-08 07:22:54
168阅读
HDFS（Hadoop Distributed File System）：分布式文件系统（为文件组织位置，格式化硬盘，简而言之就是让数据能对号一一入座的一种方法，作为Hadoop的基础存储系统，实现了一个分布式，高容错，可线性扩展的文件系统为什么需要引进HDFS？因为传统的网络文件系统（NFS）虽然也称为分布式文件系统，但是其存在一些限制。由于NFS中，文件是存储在单机上，因此无法提供可靠性保证，
转载
2024-03-20 09:37:44
17阅读
