今天看了下hadoop官网，2.5.2版本已经发布
原创
2022-10-28 06:42:13
82阅读
1.现在的虚拟机集合192.168.137.2 node1192.168.137.3 node2192.168.137.4 node3192.168.137.5 node42.配置ssh免密码登录在no
原创
2022-12-02 00:43:25
115阅读
最近在搞hadoop，所以编译hadoop-eclipse插件是少不了的 ！先说下我的编译环境：hadoop: hadoop-2.5.2OS：CentOS6.5 64位（VMWare虚拟机）eclipse: eclipse-jee-luna-SR1-linux-gtk-x86_64.tar.gz
1、下载源码
https://github.com/winghc/hadoop2x-eclipse-
原创
2016-05-31 01:10:19
1231阅读
最近在搞hadoop，所以编译hadoop-eclipse插件是少不了的 ！先说下我的编译环境：hadoop: hadoop-2.5.2OS：CentOS6.5 位（VMWare虚拟机）eclipse: eclipse-jee-luna-SR1-linux-gtk-x86_.tar.gz1、下载源码https://github.com/winghc/hadoop2x
原创
2022-04-18 11:49:26
98阅读
说明：转载我同事关于hadoop的文章，给大家分享下~地址：http://gao-xianglong.iteye.com/blog/2189773《Hadoop2.5.2集群安装》 1、环境介绍操作系统：CentOS X64物理机器：192.168.1.224(Master)、192.168.1.226(Slave1)、192.168.1.226(Slave2)JDK版本：J
转载
精选
2015-03-07 11:17:25
788阅读
Eclipse同maven进口hadoop源代码1) 安装和配置maven环境变量M2_HOME: D:\profession\hadoop\apache-maven-3.3.3PATH: %M2_HOME%\bin;2) 验证：mvn –version3) 下载protobuf-2.5.0.tar.gz 和 protoc-2.5.0-win32.zip
4) 将protoc-2.5.0
转载
2015-08-23 16:28:00
30阅读
2评论
一、Hadoop的运行模式单机模式（standalone）
单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时，Hadoop会完全运行在本地。因为不需要与其他节点交互，单机模式就不使用HDFS，也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapRedu
原创
2021-07-06 17:14:57
230阅读
转载请注明出处：http://blog.csdn.net/l1028386804/article/details/79056120一、环境准备想了解如何使用原生Python编写MapReduce程序或者如何搭建
原创
2022-03-01 15:04:20
805阅读
转载请注明出处：http://blog.csdn.net/l1028386804/article/details/79055459一、简单说明本例中我们实现一个统计文本文件中所有单词出现的词频功能，这里我们使用原生的Python来编写MapReduce。
原创
2022-03-01 15:05:53
304阅读
大数据hadoop系列
原创
2018-04-10 12:44:18
5297阅读
点赞
一.hadoop集群环境配置 参考我的前一篇文章（Hadoop之——CentOS + hadoop2.5.2分布式环境配置://blog.csdn.net/l1028386804/article/details/51536051）但本人配置时还修改了如下内容(由于你的环境和我的可能不一致，可以在后面出现相关问题后再进行修改)： a.在master节点上(liuyazhuan
原创
2022-04-18 11:49:17
332阅读
转载请注明出处：http://blog.csdn.net/l1028386804/article/details/79056120一、环境准备想了解如何使用原生Python编写MapReduce程序或者如何搭建Hadoop环境请参考博文《Python之——使用原生Python编写Hadoop MapReduce程序(基于Hadoop 2.5.2) 》的内容Mrjob(http:
原创
2018-01-14 14:15:18
416阅读
一、Hadoop的运行模式单机模式（standalone） 单
原创
2022-03-16 17:38:12
54阅读
转载请注明出处：http://blog.csdn.net/l1028386804/article/details/79055459一、简单说明本例中我们实现一个统计文本文件中所有单词出现的词频功能，这里我们使用原生的Python来编写MapReduce。同时，本例中我们将要输入的单词文本input.txt和Python脚本放到/usr/local/python/source目录下。文本
原创
2018-01-14 11:49:16
150阅读
一.hadoop集群环境配置 参考我的前一篇文章（Hadoop之——CentOS + hadoop2.5.2分布式环境配置http://blog.csdn.net/l1028386804/article/details/51536051）但本人配置时还修改了如下内容(由于你的环境和我的可能不一致，可以在后面出现相关问题后再进行修改)： a.在master节点上(liuyazhuan
原创
2016-05-30 11:13:51
155阅读
一、基础环境准备系统：(VMWare) CentOS-6.5-x86_64-bin-DVD1.isohadoop版本：hadoop-2.5.2jdk版本：jdk-7u72-linux-x64.tar.gz1.集群机器三台测试集群，一个master(liuyazhuang-01),两个slave(liuyazhuang-02,liuyazhuang-03)/etc/hosts
原创
2016-05-30 10:41:27
107阅读
一.概述1.1 hadoop1.0的单点问题Hadoop中的NameNode好比是人的心脏，非常重要，绝对不可以停止工作。在hadoop1时代，只有一个NameNode。如果该NameNode数据丢失或者不能工作，那么整个集群就不能恢复了。这是hadoop1中的单点问题，也是hadoop1不可靠的表现。如下图所示，便是hadoop1.0的架构图；1.2 hadoop2.0对had...
原创
精选
2023-04-25 01:00:56
539阅读
Hadoop也可以运行在一个伪分布模式，每个Hadoop守护进程运行在一个单独的Java程序的一个节点。伪分布模式需要在单机模式基础上进行配置。在/software/hadoop/etc/hadoop/ 目录下
core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml等文件。
下面对以上文件进行配置。一、etc/hadoop/core-s
原创
2021-07-06 17:14:56
172阅读
在上一篇《Hadoop之——Hadoop2.5.2 HA高可靠性集群搭建(Hadoop+Zookeeper)前期准备》一文中，我们讲解了基于HA搭建Hadoop集群环境的基础准备，并配置了SSH无密码登录，同时向大家简要的讲解了Hadoop的相关知识。那么现在我们就可以正式进行基于HA搭建Hadoop集群环境了。一、Hadoop（HA）集群的规划集群规划主机名IP
原创
2016-10-03 18:09:03
152阅读
在上一篇《Hadoop之——Hadoop2.5.2 HA高可靠性集群搭建(Hadoop+Zookeeper)前期准备》一文中，我们讲解了基于HA搭建Hadoop集群环境的基础准备，并配置了SSH无密码登录，同时向大家简要的讲解了Hadoop的相关知识。那么现在我们就可以正式进行基于HA搭建Hadoop集群环境了。一、Hadoop（HA）集群的规划集群规划主机名IP
原创
2022-04-22 17:11:14
141阅读
