Hadoop中关于文件操作类基本上全部是在"org.apache.hadoop.fs"包中，这些API能够支持的操作包含：打开文件，读写文件，删除文件等。Hadoop类库中最终面向用户提供的接口类是FileSystem，该类是个抽象类，只能通过来类的get方法得到具体类。get方法存在几个重载版本，常用的是这个： static FileSystem get(Configuration c
设置属性：//设置本地执行作set hive.exec.mode.local.auto=true;//设置动态分区set hive.exec.dynamic.partition=true;set hive.exec.dynamic.partition.mode=nostrict;//设置reduce task数量set mapred.reduce.tasks=2;//对mapjoin优
转载
2024-06-02 17:06:16
112阅读
（自己学习笔记） 1、(Hdoop Distributed File System )分布式文件系统原理;HDFS文件系统基本架构和运行机制 原理：解决大数据的存储问题，横跨在多台计算机的存储系统，存储在分布式文件系统上的数据会 自动的分布在不同的节点上 基本架构：分布式文件系统是主从结构，包括NameNode(主节点，只有一个)、DataNode(从节点，可以有多个) NameNode的功
在 Hadoop中，OutputFormat和InputFormat是相对应的两个东西。相比于InputFormat，OutputFormat似乎没 有那么多细节。InputFormat涉及到对输入数据的解析和划分，继而影响到Map任务的数目，以及Map任务的调度（见《Hadoop InputFormat浅析》）。而OutputFormat似乎像其字面意思那样，仅仅是完成对输出数据的格式化。对于输
文章介绍如何将CDH 5.14.4 HDFS 2.6.0 滚动升级到HDP-3.1.4.0-315 HDFS 3.1.1版本，是业界为数不多的从CDH集群滚动升级到HDP集群的案例。
vivo 互联网大数据团队-Lv JiaHadoop 3.x的第一个稳定版本在2017年底就已经发布了，有很多重大的改进。在HDFS方面，支持了Erasure Coding
转载
2024-07-01 19:53:43
74阅读
Hive（数据仓库建模工具之一）一、数据库、数据仓库概述如今，随着诸如互联网以及物联网等技术的不断发展，越来越多的数据被生产出来-据统计，每天大约有超过2.5亿亿字节的各种各样数据产生。这些数据需要被存储起来并且能够被方便的分析和利用。随着大数据技术的不断更新和迭代，数据管理工具得到了飞速的发展，相关概念如雨后春笋一般应运而生，如从最初决策支持系统(DSS)到商业智能(BI)、数据仓库、数据湖、数
为何说HDFS是存储的王者呢？让我们带着这个问题来了解HDFS的架构与原理，我一直认为学习大数据最好的方法就是看官网。 所以对初学者来说一定要多看官网，哪怕你看不懂英文，也要用软件翻译过来看。首先来看下官方介绍：
Hadoop分布式文件系统（HDFS）是一种分布式文件系统，设计用于在商用硬件上运行。它与现有的分布式文件系统有许多相似之处。但是，与其他分布式文件系统的差异很大。HDFS具有高度容
转载
2024-03-29 06:38:58
15阅读
HDFS的安装部署下载地址：Index of /dist/hadoop/common (apache.org)一、简介HDFS前言：设计思想：（分而治之）将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析。在大数据系统中作用：为各类分布式运算框架（如：mapreduce，spark，tez，……）提供数据存储服务。 HDFS采用了主从式（Master/S
问题 JuiceFS 是一个基于对象存储的分布式文件系统，在之前跟对象存储比较的文章中已经介绍了 JuiceFS 能够保证数据的强一致性和极高的读写性能，因此完全可以用来替代 HDFS。但是数据平台整体迁移通常是一个费时费力的大工程，需要做到迁移超大规模数据的同时尽量不影响上层业务。下面将会介绍如何通过 JuiceFS 的迁移工具来实现平滑迁移 HDFS 中的海量数据到 JuiceFS。
转载
2024-07-18 15:28:14
116阅读
FS Shell调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用
HBaseApache HBaseHBase简介特性环境构建架构草图单机搭建技巧 Apache HBaseHBase简介Apache HBase是一个分布式、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBas
转载
2024-06-11 20:28:20
88阅读
类型：光盘工具大小：986KB语言：中文 评分：2.8标签：立即下载.tmp 文件大部分都是因为不正常关机、或死机后所留下的文件，这些临时的暂存盘，在你重新开机后，已经没有任何的用途，可以放心删除。大家在使用Windows操作系统的时候，可能会经常在C盘根目录发现一些后缀名为TMP的文件，还会在Windows目录里发现一个TEMP的目录，TMP文件是各种软件或系统产生的临时文件，也就是常说的垃圾文
转载
2023-10-04 21:06:06
236阅读
遇到modifying layer that is being finalized这样一个问题。原因是因为在我的-dealloc方法中[button release];导致。应该写成：[button r
原创
2023-05-15 14:45:05
42阅读
前期工作： 1.hadoop2.x集群首先要搭建好，我这里是分布式，三台虚拟机 2.要进行时间同步（很重要），我这里用的是ntp服务一、搭建zookeeper 1.上传zookeeper安装包，并且将安装包解压到/opt/modules/目录下 2.进入zookeerper目录，创建一个data文件夹，并在data文件夹里面创建一个myid文件，在myid文件中写入数字0 命
转载
2024-02-04 09:53:55
50阅读
# Python hdfs库可以删除目录么
在Python中，`hdfs`是一个用于与Hadoop分布式文件系统（HDFS）交互的库。HDFS是Apache Hadoop的主要组件之一，它是用于存储大量数据的分布式文件系统。在处理大数据时，经常需要对HDFS中的文件和目录进行操作，包括创建、读取、写入和删除等。
那么问题来了，`hdfs`库是否可以用来删除目录呢？在本文中，我们将深入探讨这个问
原创
2024-02-24 06:16:44
80阅读
一、HDFS基本概念HDFS全称是Hadoop Distributed System。HDFS是为以流的方式存取大文件而设计的。适用于几百MB，GB以及TB，并写一次读多次的场合。而对于低延时数据访问、大量小文件、同时写和任意的文件修改，则并不是十分适合。目前HDFS支持的使用接口除了Java的还有，Thrift、C、FUSE、WebDAV、HTTP等。HDFS是以block-sized chun
转载
2023-12-22 19:26:24
60阅读
HDFS HA配置的完整步骤部分内容参考了这篇文章： 。其中配置文件时基于我的集群信息做的，还增加了配置中遇到的问题和解决办法。 最近了解了Hadoop后，又开始涉及Hadoop 2.0相关的知识，所以后续我会陆陆续续把2.0相关的一些知识和学习总结整理上来。 这里是QJM方式的HA配置，众所周知，HDFS HA一般是基于NFS公共存储的，这里不采用NFS。主要步骤： 1. zookeeper集
转载
2023-11-03 06:10:11
93阅读
模式概念：单击模式（Standalone）：单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时，Hadoop会完全运行在本地。因为不需要与其他节点交互，单机模式就不使用HDFS，也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的应用逻
转载
2024-06-14 22:10:21
25阅读
NameNode（名称节点） NameNode是HDFS集群的主服务器，通常称为名称节点或者主节点。一旦NameNode关闭，就无法访问Hadoop集群。NameNode主要以元数据的形式进行管理和存储，用于维护文件系统名称并管理客户端对文件的访问；NameNode记录对文件系统名称空间或其属性的任何更改操作；HDFS负责整个数据集群的管理，并且在配置文件中可以设置备份数量，这些信息都由Name
转载
2024-07-26 11:18:38
52阅读
1、图示生态架构 2、从低往上学HDFS直译分布式文件系统，相当于windows机器上的视频、图片、文档等都是存到硬盘上，硬盘再需要做一些格式化。在Hadoop上需要存储大数据，而且是存储在各个不同的机器上的。所以HDFS也就是一个分布式系统（分布式意思就是一个集群里面有很多台机器）。HDFS作为一个最基本的文件系统就是存储大数据用的。Hbase（Key-Val）列存取数据库，可以理解为
转载
2024-02-26 20:43:22
103阅读
