51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
信创认证
公众号矩阵
移动端
视频课 免费课 排行榜 短视频 直播课 软考学堂
全部课程 软考 信创认证 华为认证 厂商认证 IT技术 PMP项目管理 免费题库
在线学习
文章 资源 问答 课堂 专栏 直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
CKA（Kubernetes 管理员认证）精品班
按照企业k8s需求进行技能培训，帮助用户快速拿下CKA认证，K8S采用新版本进行授课，课程内容全、讲解详细 。 免费试学
软考高级：系统架构设计师精品班
根据考试大纲对知识点、高频考点进行深入讲解，传授答题技巧及判断标准，助力高效备考。 免费试学
信创认证：系统架构师精品班（高级）
信息技术应用创新人才考试评价 免费试学

HDFS教程（04）- HDFS联邦
文章目录01 引言02 HDFS联邦2.1 HDFS联邦概述2.2 为何需要HDFS联邦？2.2
hdfs
hadoop
big data
命名空间
原创
阿甘兄_
2022-03-25 14:28:04
520阅读

HDFS教程（01）- 初识HDFS
文章目录01 引言02 HDFS概述2.1 HDFS定义2.2 HDFS优缺点03 HDFS架构3.1 NameNod
hdfs
hadoop
big data
数据
客户端
原创
阿甘兄_
2022-03-25 14:30:30
1015阅读

HDFS教程（05）- HDFS磁盘均衡
文章目录01 引言02 HDFS磁盘均衡2.1 为何需要磁盘均衡？2.2 磁盘均衡原理2.3 磁盘均衡的使用03 文末0
hdfs
hadoop
big data
json
数据
原创
阿甘兄_
2022-03-25 14:16:58
507阅读

HDFS教程（02）- HDFS命令汇总
文章目录01 引言02 HDFS安装03 HDFS命令汇总3.1 新增操作3.1.1 创建文
hdfs
hadoop
大数据
递归
原创
阿甘兄_
2022-03-25 14:30:53
657阅读

hdfs环境安装 python hdfs安装教程
伪分布式：前提第一步：把hadoop安装包放到文件夹里第二部修改三个节点的时间第三步，修改主机名hostnamectl set-hostname hadoop01然后我们开始安装安装目录将安装包解压到对应目录命令：tar xvf hadoopxxxx -C /soft这时打开我们解压的目录会发现已经解压好创建软连接ln -s配置环境变量vi /etc/profileexport HADOOP_HO
hdfs环境安装 python
hdfs
hadoop
大数据
xml
转载
技术领航者之声
2023-07-14 10:49:33
255阅读

hadoop中hdfs安装 hdfs安装教程
1.HDFS安装1.配置hdfs的NameNode（core-site.xml)vi hadoop-2.7.2/etc/hadoop/core-site.xml<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://kafka1:9000</val
hadoop中hdfs安装
hdfs
hadoop
xml
转载
mob64ca140f67e3
2023-11-08 23:06:01
405阅读

HDFS Java API编程实践 hdfs教程
一、HDFS命令行操作1、基本语法[root@hadoop102 hadoop-2.7.2]# bin/hadoop fs 具体命令2、常用命令实操 （1）-help：输出这个命令参数[root@hadoop102 hadoop-2.7.2]# bin/hdfs dfs -help rm（2）-ls: 显示目录信息[root@hadoop102 hadoop-2.7.2]# hadoop fs -
HDFS Java API编程实践
hadoop
hdfs
api
文件系统
转载
mob64ca13fdd43c
2023-10-18 19:29:59
62阅读

HDFS教程（06）- HDFS纠删码
文章目录01 引言02 HDFS纠删码2.1 为何需要纠删码？2.2 纠删码原理2.3 Reed Solomon码2.3 纠
hdfs
hadoop
big data
数据块
数据
原创
阿甘兄_
2022-03-25 14:17:14
416阅读

hdfs架构教程 hdfs架构图
1、什么是HDFS？HADOOP DISTRIBUTE FILE SYSTEM：Hadoop分布式文件系统。2、它的设计目标是什么？高度容错，对硬件要求比较低；流式处理数据，它是用来处理大批量对数据而不是响应式地处理用户请求；简单的一致性模型；移动计算能力而不是移动数据；可移植性比较好。3、整体架构先来看一下官方提供的架构图： 下面是官方的原话：HDFS has a master/slave ar
hdfs架构教程
HDFS
文件系统
命名空间
转载
智慧编织者
2023-08-18 22:33:00
93阅读

hdfs java 视频教程 hdfs详解
当数据集大小超过一台独立的物理计算机的存储能力时，就有必要对他进行分区并存储在若干台单独的计算机上。管理网络中跨多台计算机存储的文件系统称为分布式文件系统（distributed filesystem）。 Hadoop自带一个称为HDFS的分布式文件系统。HDFS以流式数据访问模式来存储超大文件，运行于商用硬件集群上。1. HDFS的设计超大文件 超大文件的意思是hdfs能够处理的数据规模达到GB
hdfs java 视频教程
hadoop
hdfs
HDFS
文件系统
转载
coolfengsy
2023-08-18 22:50:26
40阅读

【教程】Hadoop HDFS 实践
1. 教程内容1）目标主要帮您解决以下几个问题：HDFS 是用来解决什么问题的？怎么解决的？如何在命令行下操作 HDFS ？如何使用 java api 来操作 HDFS ？了解了基本思路和操作方法后，想知道 HDFS 读写数据的具体流程是怎么样的并提供了实践环境，如果您不喜欢自己搭建hadoop环境，可以直接下载使用本环境学习并实践完成后，可以对 HDFS 有比较清晰的认识，并可以进行熟练操作，为
java
原创
mob604756f2af3b
2021-04-21 15:05:48
508阅读

Hue集成HDFS教程
注意:注意修改完HDFS相关配置后，需要把配置scp给集群中每台机器，重启hdfs集群。安装教程看我前面的博客.下面开始集成HDFS教程修改hadoop的配置文件进入hadoop配置文件目录cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/修改core-site.xml配置<!--允许通过httpfs方式访问...
大数据
hue
hdfs
hadoop
重启
原创
大数据面试宝典
2022-02-16 16:43:02
301阅读

hdfs 配置密码教程
语法错误：如果在配置文件中出现语法错误，例如缺少括号、引号不匹配等，将无法正确解析配置文件，导致Hadoop无法启动或运行出错。                解决办法：细心，出现问题可尝试查找官网寻找示例，重装虚拟机配置项不存在或错误：在修改配置文件时，可能会使用错误的配置项名
hdfs 配置密码教程
hadoop
eclipse
java
配置文件
转载
mob64ca14068b0b
2024-09-12 06:50:36
23阅读

Hue集成HDFS教程
注意:注意修改完HDFS相关配置后，需要把配置scp给集群中每台机器，重启hdfs集群。安装教程看我前面的博客.下面开始集成HDFS教程修改hadoop的配置文件进入hadoop配置文件目录cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/修改core-site.xml配置<!--允许通过httpfs方式访问...
大数据
hue
hdfs
hadoop
重启
原创
大数据面试宝典
2021-12-29 14:18:53
325阅读

HDFS教程（03）- HDFS高可用与容错
文章目录01 引言02 HDFS高可用2.1 DataNode高可用2.1.1 DataNode高可用概述2
hdfs
hadoop
big data
高可用
数据
原创
阿甘兄_
2022-03-25 14:28:26
440阅读

hdfs怎么做数据挖掘 hdfs教程
Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件上的分布式文件系统，它提供高吞吐量来访问应用程序的数据，适合那些有着超大数据集的应用程序，那么在实际应用中我们如何来操作使用呢？一、HDFS操作方式：1、命令行操作– FsShell： $ hdfs dfs2、  其他的计算框架-如spark通过URI，比如： hdfs://nnhost:port/file…，调用HDFS的
hdfs怎么做数据挖掘
HDFS
分布式文件系统
大数据
Hadoop
转载
网线小游侠
2023-07-20 21:28:52
44阅读

docker安装hdfs详细教程
# Docker安装HDFS详细教程 在大数据技术日益发展的今天，Hadoop的一个重要组件——HDFS（Hadoop Distributed File System）已经成为许多企业的核心技术之一。通过Docker来部署HDFS不仅高效，而且可以方便地进行管理和维护。本文将向你介绍如何在Docker中安装HDFS，并提供一个详细的步骤指南。 ## 操作流程 为了清晰地理解整件事情的流程，下
HDFS
Docker
docker
原创
mob64ca12d7c9ee
2024-09-07 04:18:55
647阅读

hadoop(HDFS)安装教程--简单易懂
文章目录​​1.准备工作​​​​2.开始安装​​​​获取hadoop安装包​​​​官方文档​​​​修改环境变量​​​​修改配置文件​​​​3.格式化HDFS​​​​4.开启HDFS​​​​关闭防火墙 并永久关闭(关闭开机自启)​​ 1.准备工作创建一个LInux虚拟机并安装CentOS6.9的镜像配置网卡信息安装JDK1.8在/root目录下创建两个文件夹software --> hado
hadoop
hdfs
安装hdfs
h5
原创
大数据面试宝典
2021-12-23 15:33:30
2351阅读

hadoop(HDFS)安装教程--简单易懂
文章目录1.准备工作2.开始安装获取hadoop安装包官方文档修改环境变量修改配置文件3.格式化HDFS4.开启HDFS关闭防火墙 并永久关闭(关闭开机自启)1.准备工作创建一个LInux虚拟机并安装CentOS6.9的镜像配置网卡信息安装JDK1.8在/root目录下创建两个文件夹software --> hadoop安装包上传位置app --> ha...
hadoop
hdfs
安装hdfs
h5
其他
原创
大数据面试宝典
2022-02-16 16:03:03
784阅读

cdh hdfs 配置 cdh hadoop 教程
1.MapReduce shuffle处理程序和IFile阅读器使用本机Linux调用，在安装了Hadoop本机库的Linux系统上。 2.改善随机处理程序 1.您可以通过启用shuffle readahead来改进MapReduce shuffle处理程序的性能。 这会导致TaskTracker或节点管理器在通过套接字将其发送到reducer之前预读取
cdh hdfs 配置
mapreduce
默认值
jar
转载
架构设计师之光
2024-07-19 18:34:19
50阅读
  • 1
  • 2
  • 3
  • 4
  • 5
精品课程领资料
免费资料>
2025软考
系统架构设计师 系统规划与管理师 软件设计师 系统集成项目管理工程师
信创认证
系统架构师 信创集成项目管理师 信创规划管理师 系统开发工程师
厂商认证
CKA/CKS架构师 红帽认证工程师 Oracle-OCP认证 Oracle-OCM认证
IT技术
数据库高级工程师 AIGC大模型实战 Linux云计算架构师 Python全栈开发
华为认证
数通HCIP认证 云计算HCIE认证 华为存储HCIE认证 HCIP安全认证
相关文章

python读取hdfs并返回dataframe教程

HDFS 教程：NameNode 工作机制深度解析

hdfs编程教程 hdfs写操作工作原理图

使用spark处理HDFS数据详细教程

day07.HDFS学习【大数据教程】

Hadoop hdfs完全分布式搭建教程

Hadoop教程 第四弹 HDFS工作原理

Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 全部文章 热门标签 班级博客
了解我们 网站地图 意见反馈
友情链接
鸿蒙开发者社区 51CTO学堂
51CTO 软考资讯