yan456jie的博客_hadoop

hadoop1.2.1安装配置

原文地址环境：ubuntu13使用的用户为普通用户。如：用户rujdk安装略1、安装ssh(1)Java代码

hadoop

Java

hdfs

转载 2023-07-11 09:33:29 57 阅读

hadoop 配置注意

到目前为止，关于配置1.*版本的hadoop书籍占多数，前面配置2.*失败以后照着书籍配置1.2.1成功。准备工具:(注意用统一位数的，我的64位)

hadoop

xml

eclipse

原创 2023-07-11 00:13:18 31 阅读

Will not attempt to authenticate using SASL (java.lang.SecurityException: 无法定位登录配置)

hbase错误：Will not attempt to authenticate using SASL (java.lang.SecurityException: 无法定位登录配置)在ZooKeeperSaslClient.java代码里面

客户端

java

apache

原创 2023-07-11 00:11:32 50 阅读

expected org.apache.hadoop.io.IntWritable, recieved org.apache.hadoop.io.Text

hadoop类型错误1、参数错误2、需通过job进行set

hadoop

原创 2023-07-11 00:11:01 72 阅读

hadoop过程

map->shuffle->reducemap->combine->partition->sort-> group->reducejob.setInputFormatClass，默认TextInputFormat，将数

二次排序

原创 2023-07-11 00:10:57 35 阅读

hadoop在进行二次排序的时候程序运行停止了

程序中调用了，注释就可以了job.setCombinerClass(MyReducer.class);

clementine

原创 2023-07-11 00:10:54 29 阅读

Hadoop : MapReduce中的Shuffle和Sort分析

地址MapReduce 是现今一个非常流行的分布式计算框架，它被设计用于并行计算海量数据。第

数据

HDFS

hadoop

转载 2023-07-11 00:02:52 128 阅读

Mapper抽象类参数

MapperMapperText>MapperIntWritable, Text, IntWritable>第一二个表示输入map的key和value，

Text

数据

偏移量

原创 2023-07-11 00:02:27 39 阅读

hadoop java.lang.Exception: java.lang.RuntimeException: java.lang.NoSuchMethodException: log_analys

原因是包里引用的类是别的包的类，hadoop里面有很多重名的类，注意区别

hadoop

原创 2023-07-11 00:02:23 15 阅读

windows下使用eclipse远程编写hadoop配置

1、按照一般方法配置好hadoop伪分布式，注意core-site.xml和mapred-site.xml用IP，不要用localh

hadoop

xml

eclipse

原创 2023-07-11 00:02:21 43 阅读

eclipse远程连接hadoop单机模式出现的问题

sh，指定jdk的安装路径Xml代码添加jdk路径 # The java implementation to use. Required. export JAVA_HOME=/home/ruge/soft/jd

hadoop

java

xml

原创 2023-07-11 00:02:16 67 阅读

hadoop修改block size，并上传文件

修改hdfs-site.xml dfs.replication 1 dfs.block.size 5242880

xml

上传

hdfs

原创 2023-07-11 00:02:08 76 阅读

hadoop基本操作

hadoop的基本操作是对6个类的重写实现的//基本的设置，对于同的问题，只需要重写6个类即

hdfs

System

hadoop

原创 2023-07-11 00:02:05 35 阅读

hive安装配置

下载hive 0.13.1 解压在etc/profile里配置环境变量修改hive/conf下配置文件#hive-site.xml hive.

hive

ci

hadoop

原创 2023-07-11 00:01:43 11 阅读

hbase表结构以及操作

HBase以表的形式存储数据。表有行和列组成。列划分为若干个列族(row family)Row Keycolumn-ff

数据

时间戳

bc

转载 2023-07-11 00:01:39 53 阅读

Mahout安装与配置

Mahout是Hadoop的一种高级应用。运行Mahout需要提前安装好Hadoop。Hadoop的安装

hadoop

JAVA

ubuntu

转载 2023-07-11 00:01:36 18 阅读

hbase的shell操作和java操作

shell操作#创建数据库表：“student”create 'student','info','course'#添加第一行数据put 'student','zpc',' put 'stud

hadoop

System

数据

原创 2023-07-11 00:01:34 39 阅读

安装spark

下载spark1.0.0的 spark-1.0.0-bin-hadoop1版本解压到目录在conf/spark-evn.sh下添加44export446export HADOOP_CONF_DIR=/usr/

spark

hadoop

SPARK

原创 2023-07-11 00:01:11 20 阅读

hbase和hive---数据库和数据仓库

hbase和hive都是架构与hadoop上的，hbase为分布式数据库，hive为分布式数据仓库。数据库：一

数据

hive

数据仓库

原创 2023-07-11 00:00:59 41 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客