为什么要配置HDFS HA? 首先:HDFS集群中NameNode 如果存在单点故障。对于只有一个NameNode的集群，如果NameNode机器出现意外情况，将导致整个集群无法使用. 而影响HDFS集群不可用主要包括以下两种情况：一是NameNode机器宕机，将导致集群不可用，重启NameNode之后才可使用；二是计划内的NameNode节点软件或硬件升级，导致集群在短时间内不可
转载
2024-02-19 22:04:14
57阅读
HDFS API的高级编程HDFS的API就两个：FileSystem 和Configuration1、文件的上传和下载 1 package com.ghgj.hdfs.api;
2
3 import org.apache.hadoop.conf.Configuration;
4 import org.apache.hadoop.fs.FileSystem;
5 import o
转载
2024-04-19 17:47:03
49阅读
操作HDFS，出现Permission denied。
你还在用chmod 777吗？
原创
2021-07-06 16:14:46
1156阅读
巨坑不要随便改文件权限，尤其是hadoop，ssh相关的，有可能多加了个acl用户导致无法启动，亲遇因为使用了setfacl -m -R把var下的目录都加上了etl_ai用户，导致该节点nodemanager和datanode无法启动的情况。一、SRChttps://docs.cloudera.com/documentation/enterprise/5-16-x/topics/cdh_sg_h
转载
2023-10-13 21:43:58
240阅读
HDFS概述
Hadoop分布式文件系统(HDFS)是一种旨在在商品硬件上运行的分布式文件系统。
HDFS具有高度的容错能力，旨在部署在低成本硬件上。
HDFS提供对应用程序数据的高吞吐量访问，并且适用于具有大数据集的应用程序。
HDFS放宽了一些POSIX要求，以实现对文件系统数据的流式访问。
转载
2024-07-08 16:04:14
41阅读
由 Alan Gates创建, 最终由 Andrew Sherman修改于2018年8月7日一、Hive 3的警告 升级到Hive 3.0时，由之前版本创建的任何事务性表都需要在每个分区上运行Major(主要/深度)级紧缩操作。更确切地说，自上一次Major级紧缩操作之后，在其上执行任何Update/Delete/Merge语句的分区，都必须再进行一次Major级紧缩操作。就是说，在Hive升级
转载
2024-03-09 20:23:21
179阅读
serverCron是redis每隔100ms执行的一个循环事件，由ae事件框架驱动。其主要执行如下任务：1.记录循环时间： server.unixtime = time(NULL) redis使用全局状态cache了当前的时间值。在vm实现以及lru实现中，均需要对每一个对象的访问记录其时间，在这种情况下，对精度的要求并不高（100ms内的访问值一样是没有问题的）。使用cache的时间值，其
转载
2024-06-26 10:59:18
77阅读
一、开起ACL权限开关
（1）如果是Apache Hadoop：修改hdfs-site.xml的配置，并重启
dfs.namenode.acls.enabled
true
（2）如果是CDH，登陆Cloudera Manager，选中HDFS，点击【配置】，在搜索栏中输入acl进行搜索，将【启用访问控制列
原创
2024-06-28 14:10:13
19阅读
linux ACL权限设置 ##ACL权限ACL即Access Control List 主要的目的是提供传统的owner,group,others的read,write,execute权限之外的具体权限设置，ACL可以针对单一用户、单一文件或目录来进行r,w,x的权限控制，对于需要特殊权限的使用状况有一定帮助。如，某一个文件，不让单一的某个用户访问。getfacl： &nb
转载
2024-08-31 20:05:19
172阅读
HDFS 安全模式任务目的 了解什么是安全模式，知晓集群在安全模式下能做什么工作 掌握集群进入和退出安全模式的三种情况 掌握集群在正常冷启动时进入安全模式的原理 任务清单 任务1：安全模式简介 任务2：进入安全模式的三种情况 任务3：退出安全模式的三种方式 详细任务步骤任务1：安全模式简介问题场景：集群启动后，可以查看目录，但是上传文件时报错，打开 Web 页面可看到 NameNode 正处于 S
转载
2024-03-28 09:05:05
69阅读
Hadoop FS Shell 操作命令cathadoop 上命令行查看 lzo、gz、bz 文件lzo 文件gzip 文件bz2 文件textchgrpchmodchowncopyFromLocalcopyToLocalcpdudusgetgetmergelslsrmkdirmoveFromLocalmvputrmrmrsetrepstattailtesttouchz Hadoop FS Sh
转载
2024-04-17 12:20:08
66阅读
（一）HDFS简介HDFS（Hadoop Distributed File System)是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运用在廉价的商用服务器上。它所具备的，高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的的存储，为超大数据集的应用处理带来了很多便利。HDFS架构由HDFSCl
转载
2024-05-04 14:14:06
85阅读
Tcp关闭连接问题及注意最近一段时间一直在学习阅读mina和nio的源码，也发现了一些问题无法解决，然后重读了一下tcp协议，收获颇多。（这就是带着问题去读书的好处）这次就和大家分享一下我们的netframework服务总会抛出一
1 异常说明测试环境：1.Redhat7.42.采用root用户操作3.CM和CDH为6.3.04.集群启用了Sentry未开启Kerberos5.HDFS服务开启了ACL1.随便为一个HDFS目录设置ACL条目，当超过32个时会报一下错误。[root@ip-172-31-13-38 ~]# sh a.sh
setfacl: Invalid ACL: ACL has 33 access entri
转载
2024-07-23 15:17:30
43阅读
Win10专业版怎么优化最流畅？Win10目前的用户已经非常多了，这个系统如果你会优化的话，会大大提升系统的运行速度，让你的电脑告别卡顿，流畅运行，以下小编就给大家带来Win10最详细优化设置。Win10最详细优化设置1、关闭家庭组，因为这功能会导致硬盘和CPU处于高负荷状态 (版本 1803及以上已移除该功能)关闭方案：控制面板–管理工具–服务– HomeGroup Listener和HomeG
转载
2024-03-03 10:06:41
21阅读
好久没写博客了，今天来聊一聊踩到的一个Hadoop的坑。Hadoop把对于文件系统的调用封装成了一个FileSystem类，使得新的文件系统的提供者只要实现这个接口就可以接入到Hadoop生态体系的各个计算引擎里面比如Spark, Presto等等，非常的方便。FileSystem类实现了Closable的接口: public 对于Java新特性使用的比较溜的同学在使用FileSystem的时
转载
2024-03-25 12:10:28
58阅读
ACL（访问控制列表）除了传统的POSIX权限模型外，HDFS还支持POSIX ACL（访问控制列表）。ACL对实现与用户和组的自然组织层次结构不同的权限要求很有用。ACL提供了一种为特定命名用户或命名组（不仅是文件所有者和文件组）设置不同权限的方法。默认情况下，禁用对ACL的支持，并且NameNode不允许创建ACL。要启用对ACL的支持，请在NameNode配置中将dfs.namenode.a
1、HDFS启动关闭
HDFS和普通的硬盘上的文件系统不一样，是通过Java虚拟机运行在整个集群当中的，所以当Hadoop程序写好之后，需要启动HDFS文件系统，才能运行：
转载
2023-07-24 11:08:34
263阅读
hadoop安装: 准备环境1、安装hadoop前要准备的环境有哪些？2、如何关闭linux的防火墙？3、如何设置主机名、如何设置hosts列表？4、如何设置时钟同步？5、什么是ssh？为什么要设置ssh免密登录？怎么设置ssh免密登录？6、其他：6.1、如何在linux内创建一个文件？6.2、console控制台放大/缩小字体的快捷键？6.3、如何改变gedit的字体大小？6.4、如何为ged
转载
2023-09-13 21:38:07
47阅读
本文Fayson主要介绍如何使用Cloudera Manager开启HDFS的ACL，以及如何在HDFS中使用ACL。
原创
2022-09-22 14:06:21
183阅读
