cunyan的博客_hadoop

大数据

操作系统

java

hadoop

apache

原创 2023-05-16 01:08:53 72 阅读

Hadoop的本地库（Native Libraries）介绍

Hadoop是使用Java语言开发的，但是有一些需求和操作并不适合使用java，所以就引入了本地库（Native Libraries）的概念，通过本地库，Hadoop可以更加高效地执行某一些操作。目前在Hadoop中，本地库应用在文件的压缩上面： · zlib...

大数据

java

本地库

Hadoop

hadoop

原创 2023-05-16 01:00:32 139 阅读

hadoop学习笔记4

Writable接口1、对java中的int型进行封装那么就是hadoop中的IntWritable类，在写程序的时候可以把IntWritable可以看着是int类型，

大数据

java

hadoop

迭代

原创 2023-05-16 00:58:03 18 阅读

HDFS 的体系结构

HDFS 采用了主从（Master/Slave）结构模型，一个HDFS 集群是由一个NameNode 和若干个DataNode 组成的。其中NameNode 作为

大数据

运维

Hadoop

xml

mapreduce

原创 2023-05-16 00:57:57 278 阅读

localhost: Error: JAVA_HOME is not set.

localhost: Error: JAVA_HOME is not set.启动start-all.sh时出现如下错误: root@ubuntu:/home/chenwq/hadoop/hadoop-0.21.0/bin# startd start-mapred...

java

大数据

hadoop

JAVA

ubuntu

原创 2023-05-16 00:24:01 53 阅读

hadoop学习笔记1

hadoop能解决哪些问题？1、海量数据需要及时分析和处理2、海量数据需要深入分析和挖掘3、数据需要长期保存问题：1、磁盘IO成

操作系统

大数据

数据库

hadoop

安全模式

原创 2023-05-16 00:22:46 61 阅读

hadoop学习笔记3

hadoop管理员常用命令hadoop job -list #列出正在运行的jobhadoop job -kill <job_id> #kill jobhadoop fsck / #检查HDFS块状态，是否损坏ha

大数据

java

hadoop

HDFS

hdfs

原创 2023-05-16 00:22:24 28 阅读

hadoop基本知识

Hadoop生态系统Hbase 1、Nosql数据库，key-value存储 2、最大化利用内存HDFS 1、hadoop distribute file system分布式文件系统 2

大数据

操作系统

数据库

hadoop

HDFS

原创 2023-05-16 00:17:56 50 阅读

hadoop基本知识3

Hadoop Job Scheduler1、hadoop默认的调度器是基于队列的FIFO调度器所有用户的作业都被提交到一个队列中，然后由jobTracker先按照作业的优先

大数据

java

hadoop

自定义

原创 2023-05-16 00:17:34 59 阅读

hadoop输出内容到不同的文件

实现将不同的内容输出到不同的文件，使用Partitioner 自定义的Partitioner1、为何使用Partitioner，主要是想reduce的结果能

大数据

sed

子类

自定义

原创 2023-05-16 00:17:27 59 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

欢迎

hadoop基本知识2

Hadoop的本地库（Native Libraries）介绍

hadoop学习笔记4

HDFS 的体系结构

localhost: Error: JAVA_HOME is not set.

hadoop学习笔记1

hadoop学习笔记3

hadoop基本知识

hadoop基本知识3

hadoop输出内容到不同的文件