blackproof的博客_hadoop

基于hadoop的推荐算法-mahout版

mahout

推荐算法

hadoop

相似度

Data

转载 2023-09-26 16:33:18 161 阅读

hadoop RPC

hadoop RPC 上边是一张h

hadoop

rpc

Server

内部类

原创 2023-06-04 22:40:30 86 阅读

hadoop 二次排序

ngCompare中只对key进行比较，这样

hadoop

二次排序

apache

自定义

原创 2023-06-04 22:37:58 90 阅读

hadoop join

转一个牛人的hado 1. 概述在传统数据库（如：MYSQL）中，JOIN操作是非常常见且非常耗时的。而在HADOOP中进行JOIN操作，同样常见且耗时，由于Hadoop的独特设计思想，当进行JOIN操作时，有一些特殊的技巧。本文首先介绍...

hadoop

join

Hadoop

ide

数据

原创 2023-06-04 22:36:42 82 阅读

Maven搭建hadoop环境报Missing artifact jdk.tools:jdk.tools:jar:1.6

<groupId>org.apache.hadoop</groupId> <artifactId>hadoop-mapredu

hadoop

maven

jar

apache

原创 2023-04-21 07:06:06 245 阅读

hadoop 报错 org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException

打开文件最大限制echo "fs.file-max = 65535" >> /etc/sysctl.conf echo "* - nofile 6

hadoop

报错

apache

hdfs

原创 2023-04-21 06:14:14 233 阅读

hadoop 报错 org.apache.hadoop.mapred.TaskTracker: Process Thread Dump: lost task

tack: java.lang.UNIXProcess.waitForProcessExit(Native Method) java.lang.UNIXProces

hadoop

elasticsearch

报错

error

java

原创 2023-04-21 06:14:03 10000+阅读

hadoop自定义inputformat源码

unningJob submitJobInternal { return ugi.doAs(new PrivilegedExceptionAction<RunningJ

hadoop

inputformat

apache

List

原创 2023-04-21 06:12:47 38 阅读

hadoop 调度器 capacityTaskScheduler

oozie 统计，搭建物理模型，etl服务的请求；各设置25。 1.修改mapred-site.xml

hadoop

调度器

ci

sed

原创 2023-04-21 06:09:56 95 阅读

hadoop 自定义inputformat和outputformat

hadoop的inputformat和outputformat 最好的例子vertica ：虽然是在pig中实现的udf，

hadoop

inputformat

outputformat

ide

Text

原创 2023-04-21 06:05:20 16 阅读

hadoop自定义outputformat源码

cation

hadoop

outputformat

源码

apache

mapreduce

原创 2023-04-21 02:10:10 81 阅读

hadoop配置文件笔记

用于balance。x=0.95*node*yhadoop.job.history.location job历史文件保存路径，无可配置参数，也不用写在配置文件里，默认在logs的history文件夹下

hadoop

配置

hdfs

服务器

原创 2023-04-21 01:21:57 50 阅读

protocal buffers入门实例

opackage tutorial;option java_package="";//包名option java_outer_classname="PersonProtos";//类名message P

protoc

protocal buffer

实例

java

System

转载 2023-04-20 17:11:01 73 阅读

hadoop报错

1.hadoop hdfs启动：Initialization failed for Block pool Too many failed volumes - current valid volumes:原因：hdfs的data目录没有对应磁盘，或是磁盘坏了；修改磁盘配置目录，或增加配置 <property> <name

大数据

java

hdfs

系统配置

原创 2023-04-20 17:05:01 177 阅读

hadoop namenode报错

hadoop启动报错2014-06-06 19:37:11,332 ERROR org.apache.hadoop.hdfs.server.namenode.FSNamesystem: FSNamesystem initialization failed.java.io.IOException:File system image contains an old layout version ..

hadoop

version.error

upgrade

解决方法

apache

原创 2023-04-20 16:48:25 316 阅读

hadoop hdfs读写

hadoop hdfs读写 hdfs读取文件1.FSDataInputStream，open创建输入流，建立与na

hadoop

hdfs

数据块

数据

原创 2023-04-20 16:45:04 153 阅读

hadoop MultipleOutputs规定多文件名

在map或reduce中1.初始化在configure或setup方法中MultipleOutputs.addMultiNamedOutput(conf, "prefix", TextOutputFormat.class, Text.class, Text.class);multipleOutputs = new MultipleOutputs(conf); 2.在mapper或...

hadoop

MultipleOutputs

Text

文件名

初始化

原创 2023-04-20 16:43:56 102 阅读

hadoop 常用配置备忘

job名称mapred.job.namejob队列mapred.job.queue.name 或 mapreduce.job.queuename

大数据

mapreduce

原创 2023-04-20 16:38:06 49 阅读

hadoop 源码分析

job分解为几个task，并返回task头信息 2.MapTask中计算map task数量运行map

hadoop

源码

内部类

类图

原创 2023-04-20 16:23:30 110 阅读

hadoop 命令

hadoop 命令hdfs:查看hdfshadoop fs -ls /hadoop fs -lsr /创建目录hadoop fs -mkdir /user/hive删除目录文件hadoop fs -rm /user/hive/filehadoop fs -rmr /user/hive上传文件hadoop fs -put /home/admin/new...

hadoop

命令

hive

jar

原创 2023-04-20 16:07:13 86 阅读

hadoop pig 之开发调试命令

dump描述：输出关系数据语法：dump alais1.3 explain描述：使用explain可以输出脚本的计划语法

hadoop

pig

命令

数据

图形化

原创 2023-04-20 15:48:32 60 阅读

hadoop join实现

ext departNo = new Text(); public Text getDepartId() { return departId; } public void setDepartId(String departId) { this.depart

大数据

ide

Text

System

原创 2023-04-20 15:42:41 83 阅读

hadoop map reduce参数

cpu数目一个job会使用tasktracker的reduce任务槽数mapred.reduce.tasks = cpu数目>2?cpu数目*0.5:1 一个tasktracker最多同时运行reducer任务数量mapred.tasktracker.reduce.tasks.maximum

大数据

原创 2023-04-20 15:31:19 80 阅读

hadoop 工作流程图

hadoop工作流程，用两张简单的map， reduce图来解释一下，主要集中讲述hadoop shuffle map阶段 reduce阶段：

hadoop

map

reduce

工作流程

图

转载 2023-04-20 15:31:03 70 阅读

hadoop secondnamenode配置

ta. The current design allows only one Secondary Namenode per HDFs cluster. The Secondary Namenode is a daemon that perio

hadoop

secondnamenode

xml

hdfs

服务器

原创 2023-04-20 15:30:40 311 阅读

hadoop与eclipse

配置完hadoop分布式环境，就要做eclipse开发了 1.配置eclipse的map/reduce比较简单 2.先现在插件，放到eclipse中3.配置hadoop目录4.在配置Location碰到的错误：1 unknown host -- 想必大家都是在window下开发的需要配置window/system32/driver/host，加入节点的host ip空格hos

hadoop

配置

笔记

eclipse

java

原创 2012-10-17 10:17:15 32 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客