liuqingjie_ue的博客_Hadoop

Hbase集群安装和基本操作

由于我们使用的Hadoop版本为0.20.2，因此这里使用hbase版本为0.90.5，读者朋友可以根据自己的Hadoop版本安装对应的habase版本(可去搜索引擎搜索询问）。这里我们直接在完全分布式环境下安装。0.90.5下载地址：http://download.csdn.net/detail/woshigeshou123/5452389其他版本

安装

集群

hbase

原创 2015-05-20 22:54:40 675 阅读

MapReduce编程实战2——倒排索引（jar包）

任务要求：//输入文件格式18661629496 11013107702446 1101234567 1202345678 120987654 1102897839274 18661629496//输出文件格式格式11018661629496|13107702446|987654|18661629496|13107702446|987654|1201234567|2345678|1234567|2

实战

MapReduce

倒排

原创 2015-05-14 15:43:33 1054 阅读

MapReduce编程实战1——WorldCout程序编写

//mapreduce程序 import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.h

MapReduce

程序编写

实战

原创 2015-05-14 13:58:24 719 阅读

linux上安装eclipse并配置mapreduce程序开发环境

我们打算在linux（centos）上安装eclipse，并配置好mapreduce程序开发环境。第一步：下载并安装eclipse（前提是已经安装好JDK）在linux系统中打开浏览器，输入网址：http://archive.eclipse.org/eclipse/downloads/我们选择3.7.2版本。下载下来后，文件存在于：[liuqingjie@master Downloads]$ ll

linux

配置

安装eclipse

原创 2015-05-13 22:16:25 1815 阅读

MapReduce模型以及体系架构

1.Map-Reduce编程模型以气象数据分析为例。数据中每一行就是一个时间点采集的温度信息，现在要分析一年中的最高温度。Mapper思想：Map-reduce的思想就是“分而治之”Mapper负责“分”，即把复杂的任务分解为若干个“简单的任务”执行“简单的任务”有几个含义：1 数据或计算规模相对于原任务要大大缩小；2 就近计算，即会被分配到存放了所需数据的节点进行计算；3 这些小任务可以并行计算

MapReduce

转载精选 2015-05-13 21:59:52 941 阅读

向Hadoop集群添加一个新的节点

如何向向Hadoop集群添加一个新的节点？1.在新节点安装好hadoop或者从其他节点复制一份2.把namenode的有关配置文件复制到该节点3.修改masters和slaves文件，增加该节点，所有节点都得修改4.设置ssh免密码进出该节点5.单独启动该节点上的datanode和tasktracker（hadoop-daemon.sh start datanode/tasktracker）6.运

集群

Hadoop

添加节点

原创 2015-05-10 11:18:49 677 阅读

分布式文件系统HDFS常用操作与设计原理

1.HDFS常用操作HDFS文件操作有2种方式：命令行方式和API方式我们以Hadoop自带的wordcout实例来演示HDFS分布式文件系统的命令行方式常用操作。[liuqingjie@master ~]$ mkdir input[liuqingjie@master ~]$ cd input/[liuqingjie@master input]$ echo "hello world" >te

原理

HDFS

HDFS操作

原创 2015-05-09 20:26:41 743 阅读

部署Hadoop集群

1.Hadoop的3种运行模式单机模式：安装简单，几乎不用作任何配置，但仅限于调试用途伪分布模式：在单节点上同时启动namenode、datanode、jobtracker、tasktracker、secondary namenode等5个进程，模拟分布式运行的各个节点

部署

集群

Hadoop

原创 2015-05-09 15:35:44 569 阅读

Hadoop子项目介绍

Hadoop家族项目图谱各子项目介绍（1）PigHadoop客户端，解决非Java程序员使用Hadoop难题使用类似于SQL的面向数据流的语言Pig LatinPig Latin可以完成排序，过滤，求和，聚组，关联等操作，可以支持自定义函数Pig自动把Pig Latin映射为Map-Reduce作业上传到集群运行，减少用户编写Java程序的苦恼三种运行方式：Grunt shell，脚本方式，嵌入式

Hadoop

子项目

转载精选 2015-05-09 11:16:08 604 阅读

hadoop的源起与体系介绍

1.Hadoop的源起——Lucene项目 Hadoop 是由Doug Cutting用java语言书写的开源软件，其实现与Google类似的全文搜索功能，它提供了两种全文检索引擎的架构，包括完整的查询引擎和索引引擎。 Hadoop早期版本发布在个人网站和SourceForge，2001年年底成为apach

hadoop

体系

转载精选 2015-05-09 10:33:01 527 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

青青河边草

Hbase集群安装和基本操作

MapReduce编程实战2——倒排索引（jar包）

MapReduce编程实战1——WorldCout程序编写

linux上安装eclipse并配置mapreduce程序开发环境

MapReduce模型以及体系架构

向Hadoop集群添加一个新的节点

分布式文件系统HDFS常用操作与设计原理

部署Hadoop集群

Hadoop子项目介绍

hadoop的源起与体系介绍