在部署hadoop2.6之前的前置任务：1、禁止selinuxsetenforce 0
修改vi /etc/selinux/config的参数如下：
SELINUX=disabled2、关闭防火墙iptables -F
service iptables save
service iptables stop
chkconfig --level 2345 iptables off一：配置域名解析
二、配置jetty-web.xml三、配置realm.properties文件四、重启namenode，使认证生效五、登录Hadoop Web页面验证前言Hadoop 2.x 版本，默认情况下，可以通过 http://ip地址:50070/explorer.html 访问HDFS页面，查看Namenode和Datanode状态，以及HDFS的相关文件等。但是这存在安全隐患，可能导致我们的文件信息的
转载
2024-07-08 16:11:19
57阅读
准备工作：[HDFS的安装配置及常见问题]Hadoop基础-Yarn的基本配置详细过程详细过程转载至： XW大数据技术学习探讨大数据系统和分布式系统的参数配置是一个很依赖经验和技巧的工作，后续会详细的讲解如何通过参数配置进行性能优化。为了简单起见，本文和以前的文章HDFS的安装配置一样，只讨论最简单的基本配置。 本文首先讨论了Yarn的背景知识，接着介绍详细的配置配置，最后介绍启动的操作。一、预备
转载
2023-06-14 22:28:24
86阅读
1、 hadoop中的压缩格式压缩格式文件扩展名是否可分割压缩比由高到低 压缩时间由长到慢BZIP2.bz2是GZIP.gz否LZO.lzo是(建立index)LZ4.LZ4否Snappy.snappy否2、选择什么样的压缩方式？对于压缩的好处可以从两方面考虑：Storage+Compute1. Storage：基于HDFS考虑，减少了存储文件所占空间，提升了数据传输速率。2
转载
2023-09-20 10:48:01
82阅读
# 深入了解 Hadoop ResourceManager 页面
在大数据框架中，Hadoop 是一个广泛使用的工具，其核心组件YARN（Yet Another Resource Negotiator）提供了一种资源管理机制。在YARN架构中，ResourceManager 是管理所有计算资源的关键组件。本文将深入探讨 ResourceManager 页面，并提供代码示例，帮助更好地理解其功能和
# Hadoop 页面显示概述
Hadoop 是一个开源的分布式计算平台，广泛用于大数据存储和处理。它由多个组件构成，其中 Web 界面是 Hadoop 生态系统的重要部分。本文将介绍 Hadoop 中的页面显示，代码示例以及状态图和饼状图展示数据。
## 一、Hadoop 的基本结构
Hadoop 主要由三个核心模块组成：
1. **Hadoop 分布式文件系统 (HDFS)**：用于存
原创
2024-08-08 18:07:38
50阅读
hadoop完全分布式配置。 过程大致如下： 1.创建新用户并添加到sudoers 2.更改hosts,hostname文件 3.安装jdk,并配置环境变量 4.设置ssh无密码登录 5.hadoop安装，设置文件 1.创建新用户 $ adduser hadoop $ sudo vi /etc/sudoers 在 # User privilege specification root ALL=(A
eclipse hadoop开发环境配置已经搞定，接下来就是开发hadoop程序了。但在这之前熟悉下hadoop的基本操作命令非常有必要，以下就先简单的小结下：启动和关闭Hadoop 启动Hadoop 1.进入HADOOP_HOME目录。 2.执行bin/start-all.sh 关闭Hadoop 1.进入HADOOP_HOME目录。 2.执行bin/stop-all.sh H
转载
2023-05-24 10:06:22
52阅读
# Hadoop页面汉化教程
## 概述
Hadoop是一个开源的分布式计算框架，其页面默认使用英文显示。本教程将指导你如何将Hadoop页面汉化，使得页面可以显示中文。
## 整体流程
下面是汉化Hadoop页面的流程：
| 步骤 | 描述 |
| --- | --- |
| 步骤一 | 下载Hadoop源码 |
| 步骤二 | 修改源码中的文本 |
| 步骤三 | 构建Hadoop |
原创
2024-01-10 04:02:31
161阅读
# Hadoop常用版本的实现流程
## 1. 简介
Hadoop是一个开源的分布式计算框架，用于处理大规模数据集的存储和分析。它的常用版本有Hadoop 2.x和Hadoop 3.x。在本文中，我将教会你如何使用Hadoop常用版本。
## 2. 实现流程
下面是实现Hadoop常用版本的流程图：
```mermaid
flowchart TD
A[准备环境] --> B[安装Java
原创
2023-10-13 13:06:03
35阅读
官方提供的hadoop-2.x版本貌似都是32位的，在64位机子下使用可能会报错，最好使用官方提供的源码进行本地编译，编译成适合本地硬件环境的64位软件包。关于native Hadoop是使用Java语言开发的，但是有一些需求和操作并不适合使用java，所以就引入了本地库（Native Libraries）的概念，通过本地库，Hadoop可以更加高效地执行某一些操作。
# Hadoop 常用指令科普
Hadoop 是一个开源的分布式计算平台，它允许使用简单的编程模型处理大量数据。Hadoop 的核心组件包括 Hadoop Distributed File System（HDFS）和 MapReduce。本文将介绍一些 Hadoop 的常用指令，并展示如何使用它们。
## Hadoop 常用指令
1. **查看文件系统状态**：使用 `hdfs dfsadm
原创
2024-07-30 07:28:05
16阅读
·
转载
2021-07-19 01:15:00
456阅读
2评论
常用的知识点： jsp页面代码的提取：
原创
2021-08-27 14:46:01
138阅读
event.cancelBubble = true ...
原创
2023-05-10 16:14:04
58阅读
1.Hadoop常用端口号dfs.namenode.http-address:50070 dfs.datanode.http-address:50075 SecondaryNameNode 辅助名称节点端口号：50090 dfs.datanode.address:50010 fs.defaultFS:8020 或者 9000 yarn.resourcemanager.webapp.address:
转载
2023-08-18 19:50:30
201阅读
文章目录一、原理介绍二、配置用户三、配置hdfs四、配置hive五、配置hbase六、配置yarn七、相关注意点八、整合kerberos后的配置差别 一、原理介绍hdfs指令测试：hdfs dfs -mkdir /ranger原理：根据路径进行文件夹操作赋权。一旦指定文件夹权限，则该用户可以操作该文件夹及该文件夹底下的子文件夹。yarn指令测试：hadoop jar /home/hadoop/m
转载
2023-11-29 01:16:32
102阅读
1. 服务管理（1）登录到实训系统，接着登录到安装好的ambari平台（用户名：密码admin：admin），ambari大数据平台首页。如图1所示：（2）服务信息，在页面左侧的服务列表中，可以选中任何一个想要操作的服务。以 HDFS为例，单击左侧服务列表中的“HDFS”按钮后，就会在服务列表右侧看到该服务的相关信息，如图2所示：（3）服务操作，在页面右侧，单击“服务操作”下拉框，可以对服务进行重
转载
2023-10-06 20:36:12
950阅读
本文大致介绍下Hadoop的一些背景知识，为后面深入学习打下铺垫。
前言 本文大致介绍下Hadoop的一些背景知识，为后面深入学习打下铺垫。什么是HadoopHDFS文件系统和MapReduce计算框架为核心。 前者能够让用户使用一些廉价的硬件搭建出分
转载
2023-07-12 13:32:17
164阅读
1、hdfs的web界面介绍1.1、访问地址：http://ip:50070,默认是50070端口1.2tab页功能介绍overview：显示概要信息,关注度较高，主要关注如红色圈信息 datanodes：显示所有datanode节点信息，关注度一般 Datanode Volume Failures：失败的数据节点卷，关注度低 snapshot: 快照，关注度低 s
转载
2023-06-21 16:59:15
153阅读
