简介由Apache开发的分布式系统基础架构；用户可以在不了解分布式狄岑细节的请款那个下，开发分布式程序，充分利用集群的威力进行高效运算和存储；Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS；HDFS有很高的容错性的特点，并且设计用来部署在低廉的硬件上；而且提供很高的吞吐量来访问应用程序的数据，适合那些有着超大数据集的应用程序；HD
转载
2023-10-16 12:56:19
72阅读
课程内容张丹博客 http://www.fens.me 用Maven构建Hadoop项目 http://blog.fens.me/hadoop-maven-eclipse/程序源代码下载：https://github.com/bsspirit/maven_hadoop_template/releases/tag/kpi_v1Flume部署： 周雷雷博客Chukwa部署：
转载
2023-07-20 15:28:32
69阅读
一、相关概念Hadoop相关的WEB页面（JobTracker, NameNode, TaskTrackers and DataNodes）是不需要什么权限验证就可以直接进入的，谁都可以查看到当前集群上有哪些作业在运行，这对安全来说是很不合理的。我们应该限定用户来访问Hadoop相关的WEB页面，只有授权的用户才能看到自己授权的作业等信息，而不应该看到他不该看到的。其实Hadoop提供了简单的we
转载
2023-08-23 10:48:13
339阅读
一、项目介绍 推荐系统的web项目已经完成，现在在此基础上增加HDFS文件管理功能，便于管理HDFS上的文件数据，本文基本参考了fansy1990的HDFS文件管理系统这个项目，改动的地方是将原来分散开的功能集中在了一个页面和处理了中文显示乱码。二、项目实现 1、打开菜单显示根目录文件及文件夹，点击文件夹进入下一目录，并可输入文件名、所有者进行检索
转载
2023-08-02 13:30:47
385阅读
1.外部的应用程序需要操作HDFS的情况，该如何解决？2.WebHDFS REST API可以完成什么事情？3.Httpfs 配置启动，core-site.xml、hdfs-site.xml文件改如何配置？4.REST API 如何启动httpfs？5.通过什么命令可以查看hdfs文件的状态？6.WebHDFS常用操作都包含什么？该如何实现？1 介绍 Hado
转载
2024-07-30 15:28:32
37阅读
1. 背景介绍本文档介绍如何配置Hadoop HTTP Web控制台以要求用户身份验证。默认情况下，Hadoop HTTP Web控制台（ResourceManager，NameNode，NodeManagers和DataNodes）允许访问而无需任何形式的身份验证。可以将Hadoop HTTP Web控制台配置为使用HTTP SPNEGO协议（Firefox和Internet Explorer等
转载
2023-08-17 12:54:28
1280阅读
hdfs标题栏概述 数据节点 数据节点卷故障 快照 启动进度 实用工具工具栏浏览文件系统 日志: hadoop进程日志信息，出现问题时，需要查询日志，关注度一般 日志水平 指标 配置 进程线程转储数据节点概述datanodes：显示所有datanode节点信息，关注度一般 Datanode Volume Failures：失败的数据节点卷，关注度低 snapshot: 快照，关注度低 startu
转载
2023-09-20 07:14:41
503阅读
HADOOP：yarn:ResourceManager的_8088_端口：yarn的web管理界面http://sparkproject1:8088hdfs:hdfs的web管理页面http://sparkproject1:50070yarn常用命令：启动yarn：
./sbin/start-yarn.sh
停止：
sbin/stop-yarn.sh
?
如果配置了环境变量，则无需进入目录，直接执
转载
2023-06-19 10:13:59
445阅读
在处理大数据时，Hadoop是一个非常流行的选择。然而，虽然Hadoop提供了很多强大的功能，但是有时候用户可能会遇到一些困惑。其中一个常见的问题是如何查看Hadoop的Web界面。
对于使用Linux操作系统的用户，查看Hadoop的Web界面可能并不是一件很简单的事情。但是幸运的是，有一些简单的方法可以帮助您轻松查看Hadoop的Web界面。
首先，您需要确保Hadoop集群已经成功部署并
原创
2024-04-29 11:30:24
257阅读
。Hadoop Web项目--Friend Find系统1. 项目介绍 Friend Find系统是一个寻找类似用户的系统。用户填写自己的信息后就能够在本系统内找到和自己志同道合的朋友。本系统使用的是在http://stackoverflow.com/站点上的用户数据。Stack Overflow是一个程序设计领域的问答站点，隶属Stack Exchange Network
原创
2022-01-12 11:23:22
225阅读
第6步：安装CDH和其他软件设置Cloudera Manager数据库后，启动Cloudera Manager Server，然后登录Cloudera Manager Admin Console：启动Cloudera Manager Server：
RHEL 7兼容：sudo systemctl start cloudera-scm-server兼容RHEL 6，Ubuntu，SLES：sudo
转载
2024-04-26 11:49:11
211阅读
事先说明，这次导入的不是原始的系统日志，是我们技术人员自己开发的流量统计系统里的数据，但基本格式与原始数据差不多。创建数据表： //创建扩展表，扩展表的好处在于你执行drop table 时只删除原数据，不会删除原始数据
CREATE EXTERNAL TABLE weblog(
id string,ip string,
url string,
referrer string,
urlflow s
转载
2023-12-11 14:42:40
26阅读
<!DOCTYPE html>
<html>
<head>
<meta charset="utf-8">
<title></title>
</head>
<body>
<h1>Hadoop介绍</h1>
<i>2021.03.17</i&g
转载
2023-07-14 20:02:13
51阅读
一、HDFS 1.NameNode 默认端口 50070 2.SecondNameNode 默认端口 50090 3.TaskNode 默认端口 50075二、MapReduce 1.JobTracker 默认端口 50030
原创
2013-12-11 16:34:00
6466阅读
我们安装完hadoop，下面我们从视觉上看看hadoop怎么玩的。我们可以在win7系统上，通过web界面，在浏览器地址栏输入地址，直接查看hadoop的运行情况；10.10.11.191:50030这个里面，我们可以看到Map/Reduce的管理情况10.10.11.191:50070这里可以看到...
转载
2021-08-05 15:45:28
1637阅读
很长一段时间没有关注hadoop，突然间有兴致，于是动手又研究一下
准备的基础如下:
下载hadoop-1.0.4,tomcat,lucene由于关于hadoop的基础资料也挺多的，所以这里只写一段关于hadoop+lucene+web小综合的demo设计思路， 希望对初学入门者有所启示，如下图:
本例子会引用最初hadoop提供的wordcount例子,具体的代码可
转载
精选
2013-03-02 10:09:28
781阅读
最近写了个web程序来调用hadoop的api，对hadoop自带的管理方式进行了二次开发，加强了可操作性。现在简单的介绍下功能和方法。hadoop版本为1.xx文件查看功能先来个页面截图这个功能实现主要是利用了Hadoop的FileSystem类得到HDFS文件的对象，并利用此提供的方法对HDFS进行操作。其中文件类型的判断用到的是FileStatus类。2.作业监控功能
原创
2014-07-31 11:44:44
1763阅读
点赞
2评论
我们的高可用集群部署完成以后，不同的进程会监听不同的端口，下面我们就来详细介绍下端口
目录1.配置host2.设置共享文件夹3.安装mysql4.在eclipse中安装并新建Dynamic Web Project5.Tomcat安装6.进行jar包的拷贝7.代码编写7.1 index.jsp7.2 head.jsp7.3 UploadServlet.java7.4 HdfsDAO.java7.5 DeleteFileServlet.java7.6 DownloadServlet.
转载
2024-07-18 06:54:04
123阅读
Hadoop YARN - Introduction to the web services REST API’sOverviewURI’sHTTP RequestsSummary of HTTP operationsSecu
翻译
2023-06-04 12:07:58
137阅读
