咔咔是咖咖的博客_hadoop

hadoop2的配置参数

namevaluedescriptionmapreduce.jobtracker.jobhistory.location If job tracker is static the history files are stored in this single well known place. If No value is set here, by default, i

mapreduce

hadoop

sed

原创 2023-05-12 21:10:55 86 阅读

hbase1.1.7的安装

安装步骤参考 http://wuchong.me/blog/2015/04/05/hbase-cluster-deploy/hbase官方文档http://hbase.apache.org/book.html#

hadoop

zookeeper

apache

原创 2023-05-10 22:27:00 116 阅读

hadoop2.7.1安装

todo list主机名分别为192.168.1.51 hadoop01 hadoop01.appcook.in 192.168.1.52 hadoop02 hadoop02.appcook.in 192.168.1.53 hadoop03 hadoop03.appcook.in配置免密码登录在每台机器上执行ssh-keygen -t rsa，然后一路回车，生产秘钥和私钥在这三台机器上做免

hadoop

hdfs

mapreduce

原创 2023-05-10 22:26:02 73 阅读

Mac Hadoop2.7.2的安装与配置

http://apache.fayea.com/hadoop/common/

apache

hadoop

原创 2023-05-07 13:59:20 129 阅读

zookeeper-3.4.9的安装

s.cnnic.cn/apache/zookeeper/stable/zookeeper-3.4.9.tar.gz解压 usr/bigdata/zookeeper-3.4.9添加myid文件cd usr/bigdata/zookeeper-3.4.

zookeeper

apache

hadoop

原创 2023-05-07 13:53:49 165 阅读

mapreduce

hadoop

转载 2023-05-07 11:39:53 126 阅读

MapReduce程序中的万能输入FileInputFormat.addInputPaths

写MapReduce过程中经常会遇到多个源路径的输入，我们可以在MapReduce程序主函数中通过FileInputFormat.addInputPaths(job,args[0])方法来实现， args[0]可以是folder1或者folder1，folder2只要以逗号分隔就可以了。这样在执行MR的时候，输入会将多个源路径全部作为map输入进行执行。另外一种实现单输入的方法（只支持一个目

主函数

linux

数据源

转载 2023-05-07 11:39:05 139 阅读

Hadoop Hive sql 语法详解

http://www.uml.org.cn/yunjisuan/201409235.asp

其它

原创 2023-05-07 11:31:03 84 阅读

hue的安装与使用

这是我个人的总结,仅供参考1.使用git将其下载到linux上,或者从http://gethue.com/hue

desktop

git

github

原创 2023-04-14 14:15:07 227 阅读

Apache Hadoop 2.6.0 MapReduce Tutorial

apreduce-client-core/MapReduceTutorial.html

hadoop

mapreduce

apache

原创 2023-04-14 14:11:17 90 阅读

DistributedCache.Version #的作用

dCache.createSymlink(conf);DistributedCache.addCacheFile(new URI(“file.txt#test”), conf);一定要放在job的初始化前面，否则会在mapper或者

html

读取文件

初始化

转载 2023-04-14 14:11:00 50 阅读

avro 1.7.7中存在致命的bug, 可以使用1.7.4版本

使用1.7.7会报一下的错误:Error: Found interface org.apache.hadoop.mapreduce.Taso 1.7.4

apache

hadoop

mapreduce

原创 2023-04-14 14:07:57 92 阅读

TF-IDF与余弦相似性的应用（一）：自动提取关键词

http://www.ruanyifeng.com/blog/2013/03/tf-idf.html

html

转载 2023-04-14 14:07:11 66 阅读

Ambari——大数据平台的搭建利器

http://www.hackbase.com/article-973-1.htmlhttp://www.hackbase.com/article-974-1.html

html

转载 2023-04-14 14:07:00 31 阅读

教你如何查看识别hadoop是32位还是64位

http://www.aboutyun.com/thread-12796-1-1.html

html

转载 2023-04-14 14:06:04 56 阅读

hadoop2 中log4j日志详解及自定义

http://www.360doc.com/content/15/0415/11/20466010_463339551.shtml

html

转载 2023-04-14 14:04:30 12 阅读

java.io.IOException: No FileSystem for scheme: hdfs

中给Configuration做以下设置： conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem")

hdfs

apache

hadoop

原创 2023-04-14 13:57:14 112 阅读

hadoop插件sqoop使用案例

http://shineforever.blog.51cto.com/1429204/1566788

hh

转载 2023-04-14 10:44:09 46 阅读

MR, Unable to initialize any output collector

http://stackoverflow.com/questions/26926571/cdh5-2-mr-unable-to-initialize-any-outte

h5

Java

转载 2023-04-14 10:43:16 19 阅读

hadoop 报 Name node is in safe mode 错

运行hadoop程序时，中途我把它终止了，然后再向hdfs加文件或删除文件时，出现Name node is in safe mode错误：rmr: org.apache.hadoop.dfs.SafeModeException: Cannot delete /user/hadoop/input. Name node is in safe mode解决的命令：bin/hadoo

hadoop

删除文件

apache

转载 2023-04-12 02:51:34 63 阅读

Hadoop 报异常“could only be replicated to 0 nodes, instead of 1”

这个异常困扰了我好长时间，发现大多是不细心造成的。我使用以下两步解决了我遇到的问题。首先：一定要保证节点上的防火墙都是关闭状态的。)如果没有使用如下命令关掉：(参考http://jiajun.iteye.com/blog/624449)service iptables stopchkconfig iptables off其次：可能datanode的id冲突造成的。先将然后分别在nam

hadoop

数据

xml配置

原创 2023-04-12 02:50:27 135 阅读

如何重启namenode

如何namenode还在运行,则hadoop-daemon.sh stop namenodehadoop-daemon.sh start namenode否则:hadoop-daemon.sh start namenode

hadoop

原创 2023-04-12 02:37:29 135 阅读

hadoop2 如何在执行mapreduce的时候指定job的名字

如

mapreduce

System

Text

原创 2023-04-12 02:35:56 90 阅读

hadoop 2.6.0单节点-伪分布式模式安装

hadoop 2.6.0单节点-伪分布式模式安装 http://www.aboutyun.com/thread-10554-1-1.html

单节点

伪分布式

html

转载 2023-04-12 02:35:49 39 阅读

hadoop 2 显示列出正在运行的job的名字

yarn application --list

Time

User

原创 2023-04-12 02:35:40 72 阅读

如何查看hadoop的版本

bin/hadoop version

hadoop

原创 2023-04-12 02:35:15 285 阅读

KeyError: "Couldn't get user id for user hue" #27

https://github.com/cloudera/hue/issues/27创建一个hue用户adduser hue

cloudera

github

转载 2023-04-12 02:33:34 62 阅读

/hue/hue/Makefile.vars:42: *** "Error: must have python development packages for 2.6 or 2.7. Could n

/hue/hue/Makefile.vars:42: *** "Error: must have python development packages for 2.6 or 2.7. Could not find Python.h. Please install python2.6-devel or python2.7-devel". Stop.经过苦苦探索,这个问题的最终原因是没

python

Python

html

原创 2023-04-12 02:33:29 161 阅读

hadoop 2 cachefile 分布式缓存和 Configuration set get 的用法

package com.wc;import java.io.BufferedReader;import java.io.FileReader;import java.io.IOException;import java.net.URI;import java.util.HashSet;import java.util.Set;import java.util.StringToken

apache

hadoop

Text

原创 2023-04-12 02:30:38 52 阅读

hadoop1 的suffle过程

照分区顺序写到输出文件中5.map task结束后会产生大量的spil

数据

写数据

原创 2023-04-12 02:29:50 91 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

mb643546c1aeca2的博客

hadoop2的配置参数

hbase1.1.7的安装

hadoop2.7.1安装

Mac Hadoop2.7.2的安装与配置

zookeeper-3.4.9的安装

用Hadoop构建电影推荐系统

MapReduce程序中的万能输入FileInputFormat.addInputPaths

Hadoop Hive sql 语法详解

hue的安装与使用

Apache Hadoop 2.6.0 MapReduce Tutorial

DistributedCache.Version #的作用

avro 1.7.7中存在致命的bug, 可以使用1.7.4版本

TF-IDF与余弦相似性的应用（一）：自动提取关键词

Ambari——大数据平台的搭建利器

教你如何查看识别hadoop是32位还是64位

hadoop2 中log4j日志详解及自定义

java.io.IOException: No FileSystem for scheme: hdfs

hadoop插件sqoop使用案例

MR, Unable to initialize any output collector

hadoop 报 Name node is in safe mode 错

Hadoop 报异常“could only be replicated to 0 nodes, instead of 1”

如何重启namenode

hadoop2 如何在执行mapreduce的时候指定job的名字

hadoop 2.6.0单节点-伪分布式模式安装

hadoop 2 显示列出正在运行的job的名字

如何查看hadoop的版本

KeyError: "Couldn't get user id for user hue" #27

/hue/hue/Makefile.vars:42: *** "Error: must have python development packages for 2.6 or 2.7. Could n

hadoop 2 cachefile 分布式缓存和 Configuration set get 的用法

hadoop1 的suffle过程