目录：1、hdfs 读数据流程2、hdfs 写数据流程3、hadoop的RPC框架3.1、定义一个接口3.2、编写接口的业务实现类3.3、使用RPC框架API将业务实现发布为RPC服务3.4、客户端通过RPC框架API获取跟RPC服务端通信的socket代理，调用远端服务4、hdfs 读数据源码分析5、hdfs 写数据源码分析6、远程debug跟踪Hadoop服务端代码6.1、需要在$HADOOP
转载
2023-07-12 13:57:24
117阅读
以下是我上hadoop课程时由老师提供的习题集（利用Hadoop提供的shell命令完成任务）： 一、将HDFS中指定文件的内容输出到终端中；二、显示HDFS中指定的文件的读写权限、大小、创建时间、路径等信息；三、给定HDFS中某一个目录，输出该目录下的所有文件的读写权限、大小、创建时间、路径等信息，如果该文件是目录，则递归输出该目录下所有文件相关信息； “ hadoop fs -ls -R ”
转载
2023-09-01 08:53:21
121阅读
Hadoop之WritableComprale 排序Hadoop只对key进行排序排序是 MapReduce 框架中最重要的操作之一。Map Task 和 Reduce Task 均会对数据（按照 key）进行排序。
该操作属于 Hadoop 的默认行为。任何应用程序中的数据均会被排序，而不管逻辑上是否需要。
默认排序是按照字典顺序排序，且实现该排序的方法是快速排序。对于 Map Task，它会将
转载
2023-11-03 16:12:20
43阅读
# Hadoop Docker 练习：探索大数据的世界
随着大数据的发展，Hadoop已经成为了处理大规模数据的重要工具。Hadoop能够存储和处理PB级别的数据，并且通过分布式计算模型支持并行处理。在这篇文章中，我们将通过Docker环境来搭建Hadoop集群，并进行一些基础的练习。
## 一、安装Docker
在开始之前，确保你的系统中已经安装了Docker。如果还没有安装，可以通过以下
Hadoop 实例练习 二：数据去重；
主要思想：MapReduce会将相同key值得<key，value>对发送至同一台Reducer机器上进行处理
原创
2014-06-09 09:18:10
843阅读
实现目标：在对文档进行单词词频计算的同时，对输出结果按单词的词频进行排序设计思路：用一个并行计算任务显然是无法同时完成单词词频统计和排序的。为什么无法同时完成呢？想一下单词词频统计任务的MapReduce过程：在Map阶段，Mapper将作为输入的n个文档分割为对应的n（或n个以上）个InputSplits，每个InputSplits分配给一个Mapper--> 调用RecordReader
原创
2014-06-06 09:44:23
1468阅读
将日期和时间格式化为字符串date_time_str = now.strftime("%Y-%m-%d %H:%M:%S")打开一个文件来记录文章with open('article.txt', 'a')
原创
2023-05-03 17:35:36
192阅读
、定义数据 可以是一个数： 可以使一维数组： 可以是二维数组： 也可以是任意维数组(也就是张量）： 2、定义操作 凡是用Tensor进行各种运算的，都是Function 最终，还是需要用Tensor来进行计算的，计算无非是： 基本运算，加减乘除，求幂求余 布尔运算，大于小于，最大最小 线性运算，矩阵 ...
转载
2021-10-09 18:58:00
49阅读
2评论
  print(x) # 可以是一维数组（向量） x = torch. ...
转载
2021-10-08 15:53:00
110阅读
2评论
# Java练习代码实现指南
## 1. 整体流程
下面是实现Java练习代码的整体流程：
| 步骤 | 描述 |
| ---- | ---- |
| 1. 确定练习题目 | 选择一个合适的练习题目，可以从书籍、在线资源或编程练习平台获取 |
| 2. 分析题目要求 | 仔细阅读题目要求，理解所需的输入、输出和功能 |
| 3. 设计算法和数据结构 | 根据题目要求，设计解决问题的算法和数据
原创
2023-08-08 08:03:14
24阅读
求1到10的阶乘=sum = 0;for i=1:10 re = 1; for j=1:i re=re*j; end sum = sum+re;end找出最大元素和最小元素所在
原创
2022-07-05 14:49:49
195阅读
1 package elasticsearch; 2 3 import java.util.HashMap; 4 import java.util.List; 5 import java.util.Map; 6 7 import org.elasticsearch.action.bulk.BulkItemResponse; 8 import org.el...
转载
2016-11-17 09:25:00
105阅读
2评论
