目录1. Hadoop安装部署 1.1 Hadoop安装包下载: 1.2 下载后上传文件并解压:2.HDFS文件系统操作2.1修改配置文件2.1.1 修改hadoop-env.sh 指定Java的安装目录2.1.2 修改core-site.xml --指定hadoop的默认文件系统2.1.3 修改hdfs
转载
2023-06-14 22:29:26
204阅读
1. 安装rzsz前提:Linux需要联网 yum -y install lrzsz 2. 安装jdk先卸载open-jdk java –versionrpm -qa | grep java rpm -e --nodeps java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64
原创
2017-04-22 00:04:46
836阅读
问题导读:1.编译源码前需要安装哪些软件?2.安装之后该如何设置环境变量?3.为什么不要使用JDK1.8?4.mvn package -Pdist -DskipTests -Dtar的作用是什么?1. 前言 Hadoop-2.4.0的源码目录下有个BUILDING.txt文件,它介绍了如何在Linux和Windows下编译源代码,本文基本是遵照BUILDING.txt指示来操作的,这里再做一下简单
shell-hadood-本项目的gitbub地址(个人):https://github.com/miku-lxc/shell-hadood- 主要目录 一、思维框架
二、代码说明
三、项目体会
四、不足之处
五、改进与展望特点:使用educode在线平台,安装hadoop对相关命令进行研究,实现独立自主的shell脚本的制作,反复测试脚本的可用性以及后续需要改进的方面。注意事项!!!! 本次使用
转载
2024-01-11 10:13:31
83阅读
引用:://hbtc2012. 、内容挖掘、自然语言理解、数据可视化、计算广告学、地理信息系统等相关技术主题进行探讨,充分促进Hadoop与大数据技术在国内的应用实践。四大分论坛技术共享:Hadoop生态系统、大数据行业应用、SQL与大数据、大数据共享平台与实践不管您是DBA、架构师还是CT
转载
2012-10-09 10:56:00
77阅读
安装: 1)上传 2)解压 tar -xvzf hadoop-2.7.7.tar.gz 3)配置环境变量 在/home/hadoop/apps/执行下面的命令 ln -s hadoop-2.7.7 hadoop 修改环境变量: export HADOOP_HOME=/home/hadoop/apps/hadoop export PATH=HADOOP_HOME/bin:$HADOOP_HOME/s
转载
2023-09-20 12:37:11
22阅读
前段时间读完了谷歌的三大论文,现在开始正式学习hadoop,今天就先整理一下hadoop的一些基本要点。一.从起源开始聊起hadoop的起源也就是谷歌著名的三大论文,或者可以说是谷歌三大论文的开源实现。Hadoop的核心组件有三个:HDFS,Hadoop MapReduce,HBase,分别是谷歌的GFS,Google MapReduce和BigTable的开源实现。另外,有趣的是,Hadoop名
转载
2023-07-21 13:57:33
59阅读
hadoop相关知识汇总介绍HDFS(Hadoop Distributed File System):HDFS架构(1.0)HDFS特性MapReduce体系结构(1.0)MapReduce特性YARN(Yet Another Resource Negotiator)YARN基本架构Hadoop2.x特性HDFS FederationNameNode HAHDFS快照通过NFSv3访问HDFSh
转载
2023-09-14 13:20:01
92阅读
大数据专业人员的5大Hadoop课程-最佳 如果您正在学习大数据,或者想要探索Hadoop框架,并正在寻找一些很棒的课程,那么您来对地方了。 在本文中,我将分享一些最佳的Hadoop课程,以深入学习Apache Hadoop。 在上两篇文章中,我分享了一些大数据和Apache Spark资源,这些资源已得到读者的好评。 之后,我的一些读者给我发送了电子邮件,询问了一些Hadoop资
转载
2023-07-14 16:46:01
67阅读
1)Hadoop默认不支持LZO压缩,如果需要支持LZO压缩,需要添加jar包,并在hadoop的cores-si
原创
2022-11-11 10:14:32
90阅读
此hadoop视频,主要介绍了hadoop单机版和集群的安装方法,还介绍了HDFS的命令行工具的使用,非常适合初学者。 http://www.17hadoop.com/ziyuanxiazai/103.html 这...
原创
2023-05-06 20:25:44
152阅读
hadoop的组成是由hdfs,mapreduce和hbase组成。
1.hdfs是google file system(GFS)的开源实现。HDFS 就像一个传统的分级文件系统。可以创建、删除、移动或重命名文件,等等。但是 HDFS 的架构是基于一组特定的节点构建的。这是由它自身的特点决定的。这些节
原创
2012-12-06 13:05:40
593阅读
hadoop相关资料 http://lbxc.iteye.com/blog/1819794
原创
2023-06-15 00:15:00
60阅读
Hadoop是一个开源的分布式计算框架,它可以处理大规模数据集并提供高容错性。Hadoop由许多相关组件组成,每个组件都有不同的功能和作用。本文将介绍Hadoop的相关组件,并给出相应的代码示例。
## Hadoop相关组件
### 1. Hadoop HDFS
Hadoop分布式文件系统(Hadoop Distributed File System,简称HDFS)是Hadoop的核心组件之
原创
2024-01-16 04:37:17
69阅读
官方默认配置地址:https://hadoop.apache.org/docs/stable/ ###########################core-site.xml<configuration> <property> <name>hadoop.tmp.dir</name> <value> ...
转载
2021-09-11 09:14:00
141阅读
2评论
spark运行时出现Neither spark.yarn.jars nor spark.yarn.archive is set错误的解决办法(
原创
2019-01-17 19:54:48
69阅读
Hadoop是什么Hadoop是一个开源的大数据框架Hadoop是一个分布式计算的解决方案Hadoop=HDFS(分布式文件系统)+MapReduce(分布式计算)Hadoop核心HDFS分布式文件系统:存储是大数据技术的基础MapReduce编程模型:分布式计算是大数据应用的解决方案Hadoop基础架构 HDFS概念  数据块  NameNode
原创
2019-06-10 22:20:26
544阅读
点赞
Hadoop:相关概念 一、Hadoop简介 Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS. 1.特点 (1)HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上; (2)HDFS提供高吞吐量(high t
转载
2018-07-05 23:22:00
169阅读
点赞
3评论
hadoop namenode服务恢复 hadoop数据备份与恢复 转载(一)备份namenode的元数据namenode中的元数据非常重要,如丢失或者损坏,则整个系统无法使用。因此应该经常对元数据进行备份,最好是异地备份。1、将元数据复制到远程站点(1)以下代码将secondary namenode中的元数据复制到一个时间命名的目录下,然后通过scp命令远程发送到其它机器#!/bin/
原创
2024-04-22 15:22:58
474阅读
前言再看本文章之前,请先确保已经看过CentOS下hadoop的分布式搭建和分布式协作服务框架Zookeeper安装部署两篇文章,因为本文章是建立在它们基础之上的。一、HA相关介绍1、为什么出现HA架构Hadoop2.0之前,在HDFS集群中NameNode存在单点故障(SPOF)(也就是namenode单点宕机导致集群不可用的问题)。NameNode主要在以下两个方面影响HDFS集群:
Name
转载
2023-07-12 13:49:44
61阅读