hdfs文件系统对文件和文件夹的权限很多都借鉴了POSIX model（不懂），每个文件和文件夹都只能被他的拥有者或者组访问，文件拥有者，其他用户组的成员，和其他用户，对文件或文件夹拥有独立的权限。 对于文件，r 代表能读取文件的权限，w 代表写权限或者追加到源文件。对文文件夹 ，r 权限是列出文件夹中的内容包括文件夹和文件，w是创建或者删除文件或者文件夹，x是访问文件夹的子节点。 与POSIX
转载
2023-07-12 15:06:08
229阅读
安装并使用多种方法配置Hadoop。准备
创建Hadoop用户
创建新用户
sudo useradd –m hadoop –s /bin/bash
设置密码
sudo passwd hadoop
增加管理员权限
sudo adduser hadoop sudo
最后，切换到该用户进行登录
SSH登录权限设置
配置SSH的原因
Hadoop名称节点(NameNode)需要启动集群中所有机器的Hado
转载
2023-09-22 12:56:43
105阅读
1. hadoop目录概述hadoop的解压目录下的主要文件如下图所示： 其中： /bin 目录存放对Hadoop相关服务（HDFS, YARN）进行操作的脚本； /etc 目录存放Hadoop的配置文件 /lib 目录存放Hadoop的本地库（对数据进行压缩解压缩功能） /sbin 目录存放启动或停止Hadoop相关服务的脚本 /share 目录存放Hadoop的依赖jar包、文档、和官方案例
转载
2023-06-19 17:57:55
115阅读
在使用Hadoop进行大数据处理的过程中，有时会遇到“input有小锁”的问题。这种情况通常与输入文件的锁机制、数据访问控制等有关，可能会导致任务失败、数据读取错误等问题。在下面的文章中，我将分享在解决这一问题的过程中所经历的一些技术原理、系统架构、源码分析以及具体案例。
首先，让我们来了解一下问题的背景。
在Hadoop体系结构中，HDFS（Hadoop Distributed File S
ReentrantLock 直接使用lock接口的话，我们需要实现很多方法，不太方便，ReentrantLock是唯一实现了Lock接口的类，并且ReentrantLock提供了更多的方法，ReentrantLock，意思是“可重入锁”。 以下是ReentrantLock的使用案例： 例子1，lock()的正确使用方法 见代码MyLockTest 例子2，tryLock()的...
转载
2018-05-09 17:52:00
65阅读
2评论
文章目录Hadoop 之文件写入 && 一致模型Hadoop 文件写入异常情况副本安置策略（replica placement）一致模型（Coherency model）并行复制（distcp） Hadoop 之文件写入 && 一致模型Hadoop 文件写入具体步骤如下：1.客户端通过对 DistributedFileSystem 对象调用 create() 来新
转载
2023-09-20 10:45:21
67阅读
在虚拟机上删除hdfs文件： 删除hdfs下的文件： hadoop fs -rm /文件夹名 删除hdfs下的文件夹：hadoop fs -rm -r 文件名 查看根目录下的内容： hadoop fs -cat /文件名 增加权限：chmod +x 文件名 ps -ef|grep 文件名 ：查看某个进程号 复制文件： cp 文件名 文件名 mv 既可以改文件名也可以移动文件（在同一台机器上可以）
转载
2023-08-30 23:59:46
93阅读
在我们实际工作当中，极有可能会遇到将测试集群的数据拷贝到生产环境集群，或者将生产环境集群的数据拷贝到测试集群，那么就需要我们在多个集群之间进行数据的远程拷贝，hadoop自带也有命令可以帮我们实现这个功能1、本地文件拷贝scpcd /kkb/softscp -r jdk-8u141-linux-x64.tar.gz hadoop@node02:/kkb/soft 2、集群之间的数据拷贝distcp
转载
2023-07-12 15:03:32
117阅读
借助 fcntl函数来实现锁机制。 操作文件的进程没有获得锁时，可以打开，但无法执行read、write操作。 fcntl函数： 获取、设置文件访问控制属性。 int fcntl(int fd, int cmd, ... /* arg */ ); 参2： F_SETLK (struct flock
转载
2019-08-21 17:07:00
307阅读
2评论
# Python实现文件锁获取文件锁
在编程过程中，经常需要对文件进行操作。当多个进程或线程同时访问同一个文件时，可能会引发竞争条件（Race Condition）问题。为了避免这种问题，我们可以使用文件锁（File Lock）来确保对文件的独占访问。
文件锁是一种机制，可以通过在文件上设置锁定标志来防止其他进程或线程访问该文件。在Python中，我们可以使用`fcntl`模块来实现文件锁。
原创
2023-12-14 08:42:19
454阅读
https://gavv.github.io/articles/file-locks/ File locking in Linux 29 Jul 2016 linux posix ipc Table of contents Introduction Advisory locking Common f
转载
2021-04-26 15:57:00
374阅读
2评论
use strict;
use Fcntl qw(:flock);
use POSIX qw(strftime);
open (FD, " < test.txt") or die "$!\n";
flock(FD, LOCK_EX);
print "I
原创
2014-07-26 10:24:03
701阅读
# npm锁文件和yarn锁文件的实现
## 简介
在开发过程中，我们经常会使用到JavaScript的包管理工具，如npm和yarn。为了确保团队成员在不同的环境下安装依赖时得到一致的结果，我们需要使用锁文件来记录软件包的版本和依赖关系。本文将介绍如何使用npm和yarn来生成和使用锁文件，并解释每一步骤的具体操作。
## 整体流程
下面的表格展示了使用npm和yarn生成和使用锁文件的
原创
2023-11-30 06:11:58
205阅读
记录锁(record locking)的功能是：当第一个进程正在读或修改文件的某个部分时，使用记录锁可以阻止其他进
原创
2022-06-09 19:57:08
1057阅读
加锁实现实现逻辑通过for循环自旋的方式，判断redis中是否存在锁的缓存，存在则放回true，否则判断获取锁的时间是否超时，超时则返回false。
自旋的判断时间是很快的，设置的超时时间如果太长会占用cpu的时间片处理。加锁的实现方法/**
* 获取锁的超时时间
*/
private static final long timeout = 300;/**
* 加锁，无阻塞
转载
2023-06-23 22:16:32
157阅读
1.大量小文件影响 NameNode存储着文件系统的元数据，每个文件、目录、块大概有150字节的元数据，因此文件数量的限制也由NameNode内存大小决定，如果小文件过多则会造成NameNode的压力过大，且hdfs能存储的数据量也会变小2.HAR文件方案 本质启动mr程序，需要启动yarn 用法：archive -archiveName <NAME>.har -p <
转载
2023-07-14 19:38:21
101阅读
文件压缩有两个好处：减少存储文件所需的磁盘空间，并加速数据在网络和磁盘上的传输 在存储中，所有算法都要权衡空间/时间；在处理时，所有算法都要权衡CPU/传输速度 以下列出了与Hadoop结合使用的常见压缩方法： 压缩格式工具算法文件扩展名是否可切分DEFLATE无DEFLATE.deflate否GzipgzipDEFLATE.gz否bzip2bzip2bzip2.bz2是LZOlzopLZO.l
转载
2023-09-20 10:53:58
104阅读
Hadoop生态技术体系下，负责大数据存储管理的组件，涉及到HDFS、Hive、Hbase等。Hive作为数据仓库工具，最初的存储还是落地到HDFS上，这其中就有一个关键的环节，是小文件的处理。今天的大数据开发分享，我们就主要来讲讲，Hive小文件合并。本身来说，由于Hadoop的特性，对大文件的处理非常高效。大文件可以减少文件元数据信息，减轻NameNode的存储压力。相对于上层的数据表汇总程度
转载
2024-01-31 00:20:47
44阅读
Hadoop（四）HDFS什么是HDFSHDFS文件系统设计的目的上传机制读取机制 什么是HDFSHadoop Distributed File System hadoop底层的分布式文件存储系统，可以存储海量的数据。其特点为：作为一个文件系统，用于存储文件，通过统一的命名空间目录树来定位文件。分布式存储系统，通过许多服务器联合起来实现功能。master/slave架构，主从架构。其中namen
转载
2023-09-01 09:23:30
92阅读
Hadoop有几个组件:
===========================
NameNode
Hadoop 在分布式计算与存储中都采用 主/从结构。分布式存储被称为 HDFS.
NameNode 位于 HDFS 的主机端，它指导从机端的DateNode 执行底层的数据传输.
NameNode跟踪文件如何被划分，以及这些
转载
2024-03-10 18:17:34
36阅读
