HDFS集群中机器的角色：两类核心角色： 主节点（1台）：NAME NODE 从节点（N台）：DATA NODEHDFS安装：一、准备N台机器：比如4台 1台namenode 3台datanode准备内容：（主机名，ip，域名映射，防火墙，jdk）主机名：vi /etc/sysconfig/network ip地址：vi /etc/sysconfig/network-scripts/ifcfg
转载
2024-02-10 15:48:54
79阅读
1.安装Hadoop单机模式安装Hadoop安装JAVA环境设置环境变量，启动运行 1.1 环境准备 1）配置主机名为nn01，ip为192.168.1.21，配置yum源（系统源）备注：由于在之前的案例中这些都已经做过，这里不再重复. 2）安装java环境nn01 ~]# yum -y install java-1.8.0-openjdk-devel
nn01 ~]
转载
2024-08-02 14:29:55
54阅读
下载 Hadoop，[http://hadoop.apache.org/releases.html ](http://hadoop.apache.org/releases.html)
上传：上传到master机器节点的目录~/bigdata下(可以用FileZilla等ftp工具上传)
需要预先在master节点中的hadoop-jrq用户下的主目录下创建bigdata目录:
即执行mkdir b
转载
2024-01-26 07:09:08
172阅读
window安装hadoop客户端场景提示：在我做flink到hive的sink练习的时候，运行代码时发生异常：HADOOP_HOMEand hadoop.home.dir are unset 1:分析：我在本地虚拟机已经按照hadoop集群，在工程里的配置也指向我的集群地址，讲实话想不到会是什么原因导致没有设置hadoop，在网上查资料解释是说我没有在本地安装hadoop，但我以为我在集群部署了
转载
2024-03-20 14:13:15
22阅读
HDFS2.2.1 Hadoop相关概念Hadoop是一个由Apache基金会所开发的分布式系统基础架构，用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS具有高容错性的特点，并且设计用来部署在低廉的硬件上，而且它提供高吞吐量来访问
转载
2024-08-11 13:08:10
143阅读
HDFS是一个分布式文件系统，安装完成之后使用起来类似于本地文件系统，但是它是一个网络文件系统，所以访问这种文件系统的方式和访问本地文件系统的方式还是有所差别的（本地文件系统的方式是基于系统调用的，当然也有类似NFS这样的网络文件系统可以使用和本地文件系统相同的访问方式，那是因为已经在内核中安装了NFS，而HDFS只是一个应用层的服务程序罢了）。但是这些命令
转载
2023-10-18 21:51:37
90阅读
1、环境准备需要环境：PC-1 Suse Linux 9 10.192.1.1PC-2 Suse Linux 9
转载
2024-08-20 16:32:47
85阅读
Hadoop配置主要事项1、 保证Master和Slave能够ping通；2、 配置/etc/hosts文件；3、 能够ssh无密码切换各台主机；4、 安装sun公司的jdk，在/etc/profile中设置好环境变量；5、 下载Hadoop，安装、配置、搭建Hadoop集群；1.Hadoop简介Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDF
转载
2024-01-09 21:55:12
119阅读
教程目录0x00 教程内容0x01 Hadoop的获取1. 官网下载 关注公众号：邵奈一0x02 上传安装包到集群1. 上传安装包到虚拟机0x02 安装与配置Hadoop1. 解压Hadoop2. 配置Hadoop3.
原创
2022-02-23 18:29:04
498阅读
教程目录0x00 教程内容0x01 Hadoop的获取1. 官网下载2. 添加微信：shaonaiyi8883. 关注公众号：邵奈一0x02 上传安装包到集群1. 上传安装包到虚拟机0x02 安装与配置Hadoop1. 解压Hadoop2. 配置Hadoop3. 同步Hadoop到slave1、slave24. 校验HDFS0x03 简便配置1. 环境变量配置2. 域名映射配置0xFF 总结
原创
2021-06-10 17:59:06
536阅读
HadoopHDFS：分布式文件存储系统核心组件：一、NameNode: 整个集群的核心，NameNode本地磁盘中管理着文件系统的镜像文件及编辑日志，在内存中管理着文件系统元数据信息（主要是BlockMap与NameSpace）磁盘文件核心1： 文件系统镜像文件（FsImage） 磁盘中存放着的文件元数据信息，可以看做持久化后的HDFS目录树。【元数据信息[FileName、副本数、副本所在位置
转载
2023-08-18 22:53:03
71阅读
网络上关于如何单机模式安装Hadoop的文章很多，按照其步骤走下来多数都失败，按照其操作弯路走过了不少但终究还是把问题都解决了，所以顺便自己详细记录下完整的安装过程。此篇主要介绍在虚拟机设置完毕后，如何进行Ubuntu的安装。我所记录的笔记适合没有Linux基础的朋友跟我一起操作，同时欢迎高手参观指导。 环境约定以下环境基于攥写时间：5th July 2015。宿主机器：Wi
转载
2023-09-13 23:32:01
100阅读
HDFS优化
DataNode打开最大文件数配置操作场景一个HDFS Datanode同时打开的文件数量是有上限的，该上限是通过参数dfs.datanode.max.transfer.threads设置的，默认值为4096。根据集群的数据量和操作相应调高此值。操作步骤参数入口：在Ambari系统中，选择“服务 > HDFS > 配置”，通过过滤框搜索相应的参数配置，按照。（此配
转载
2024-03-28 10:56:45
134阅读
准备工作JDKhadoophive执行引擎引擎说明mr默认引擎，hadoop自带的框架，在2.x版本中已不推荐使用tez相比于mr，减少了磁盘io，速度比mr有明显提升spark内存计算框架，速度最快运行模式模式说明特点内嵌模式数据保存在内嵌的 derby 数据库中不支持多用户登录本地模式数据保存在本地的数据库，如mysql支持多用户登录远程模式数据保存在远程的数据库中，如mysql多个hive客
转载
2023-07-14 10:52:53
207阅读
1、第一步是要部署java环境和安装ssh，首先在根目录建两个文件夹software和app分别存放安装包和解压后的文件： 把安装好的jdk-8u161-linux-x64.tar和hadoop-2.6.0-cdh5.14.0.tar上传到software文件夹。然后把jdk解压到app目录下： tar -zxvf jdk-8u161-linux-x64.tar.gz -C ~/app/ 接着进
转载
2023-12-06 20:53:46
109阅读
前言最近刚好在学习 Hadoop，在安装过程中遇到了一些小麻烦，正好将此次过程记录并分享出来，希望能对准备学习本块内容的读者们有所帮助。本次操作在 Ubuntu 中完成，如何安装 Ubuntu 本文不再赘述。在 Ubuntu 中安装配置 Docker使用官方安装脚本自动安装安装命令如下：curl -fsSL https://get.docker.com | bash -
转载
2023-09-28 21:44:02
86阅读
题目一、运维与管理
HDFS 调优；（hdfs-site.xml 配置hadoop的hdfs的参数,/usr/hadoop/hadoop-2.7.3/etc/hadoop）
Yarn 调优； (yarn-site.xml配置yarn的参数/usr/hadoop/hadoop-2.7.3/etc/hadoop）)
MapReduce 调优； （主要是性能调优）
集群权限管理；
转载
2024-04-24 10:13:49
56阅读
什么是Hadoop?Apache Hadoop 是一个用java语言实现的软件框架，在由大量计算机组成的集群中运行海量数据的分布式计算，它可以让应用程序支持上千个节点和PB级别的数据。 Hadoop是从google MapReduce和Google文件系统的论文获得的灵感。Hadoop是Apache的一线项目，开发和实用来自世界各地的社区，Yahoo!是目前 为止最大的贡献者，并且Yahoo广泛使
转载
2024-06-13 15:48:19
35阅读
集成ldap之前请参考安装好openldap：Ubuntu16.04安装openldap和phpldapadmin1.hadoop集成ldapHDFS 的文件权限与 Linux/Unix 系统类似，也是采用UGO模型，分成用户、组和其他权限。其权限you两种实现方式：1.基于Linux/Unix系统的用户和用户组；2.基于使用LDAP协议的数据库参考网易数帆的文章：HDFS权限管理实践使用基于Li
转载
2024-05-18 06:39:46
118阅读
HDFS HA 搭建 目录HDFS HA 搭建一、搭建高可用集群1、准备安装环境2、修改集群环境3、修改配置文件4、拷贝分发软件5、修改环境变量6、首先启动Zookeeper7、启动JournalNode8、格式化NameNode9、关闭集群10、重启测试集群二、访问Hadoop集群1、Java访问2、Idea访问附录：配置文件详解1、core-site.xml2、hdfs-site.xml 一、
转载
2024-03-17 00:28:02
239阅读
