# Hadoop Docker 练习：探索大数据的世界
随着大数据的发展，Hadoop已经成为了处理大规模数据的重要工具。Hadoop能够存储和处理PB级别的数据，并且通过分布式计算模型支持并行处理。在这篇文章中，我们将通过Docker环境来搭建Hadoop集群，并进行一些基础的练习。
## 一、安装Docker
在开始之前，确保你的系统中已经安装了Docker。如果还没有安装，可以通过以下
Hadoop之WritableComprale 排序Hadoop只对key进行排序排序是 MapReduce 框架中最重要的操作之一。Map Task 和 Reduce Task 均会对数据（按照 key）进行排序。
该操作属于 Hadoop 的默认行为。任何应用程序中的数据均会被排序，而不管逻辑上是否需要。
默认排序是按照字典顺序排序，且实现该排序的方法是快速排序。对于 Map Task，它会将
转载
2023-11-03 16:12:20
43阅读
以下是我上hadoop课程时由老师提供的习题集（利用Hadoop提供的shell命令完成任务）： 一、将HDFS中指定文件的内容输出到终端中；二、显示HDFS中指定的文件的读写权限、大小、创建时间、路径等信息；三、给定HDFS中某一个目录，输出该目录下的所有文件的读写权限、大小、创建时间、路径等信息，如果该文件是目录，则递归输出该目录下所有文件相关信息； “ hadoop fs -ls -R ”
转载
2023-09-01 08:53:21
121阅读
目录：1、hdfs 读数据流程2、hdfs 写数据流程3、hadoop的RPC框架3.1、定义一个接口3.2、编写接口的业务实现类3.3、使用RPC框架API将业务实现发布为RPC服务3.4、客户端通过RPC框架API获取跟RPC服务端通信的socket代理，调用远端服务4、hdfs 读数据源码分析5、hdfs 写数据源码分析6、远程debug跟踪Hadoop服务端代码6.1、需要在$HADOOP
转载
2023-07-12 13:57:24
117阅读
Hadoop 实例练习 二：数据去重；
主要思想：MapReduce会将相同key值得<key，value>对发送至同一台Reducer机器上进行处理
原创
2014-06-09 09:18:10
843阅读
实现目标：在对文档进行单词词频计算的同时，对输出结果按单词的词频进行排序设计思路：用一个并行计算任务显然是无法同时完成单词词频统计和排序的。为什么无法同时完成呢？想一下单词词频统计任务的MapReduce过程：在Map阶段，Mapper将作为输入的n个文档分割为对应的n（或n个以上）个InputSplits，每个InputSplits分配给一个Mapper--> 调用RecordReader
原创
2014-06-06 09:44:23
1468阅读
docker安装Nginx docker search nginx 搜索镜像 或者在docker Hub上搜索 网站：https://hub.docker.com/ https://hub.docker.com/search?q=nginx&type=image 我们可以进入了解详情！ dock
原创
2021-05-26 17:14:51
278阅读
一、统计好友对数（去重）1.1、数据准备joe, jon
joe , kia
joe, bob
joe ,ali
kia, joe
kia ,jim
kia, dee
dee ,kia
dee, ali
ali ,dee
ali, jim
ali ,bob
ali, joe
ali
转载
2024-07-25 14:31:33
33阅读
提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录系列文章目录前言一、 Combiner合并1.需求分析2.代码编写二、自定义OutputFormat案例1.需求分析2.代码编写总结 前言这次依旧忽略理论部分继续带来一些案例。一、 Combiner合并这个说一下这个Combiner，他是mapper的最后一步，可以把一部分reduce的压力分散到mapper的各个节点，进而
转载
2023-09-20 10:27:24
70阅读
一、Hadoop-HA（高可用）1.1 Hadoop1.x带来的问题1、单点故障 a. 每个群集只有一个NameNode，NameNode存在单点故障（SPOF）。
b. 如果该计算机或进程不可用，则整个群集在整个NameNode重新启动或在另一台计算机上启 动之前将不可用
c. 如果发生意外事件（例如机器崩溃），则在操作员重新启动NameNode之前，群集将不可 用。
d. 计划内
转载
2023-07-31 17:42:11
20阅读
## Docker：简介和使用示例
