目录一、Hadoop3.3安装1.1下载hadoop1.2解压hadoop1.3新建目录1.4修改hadoop配置文件1.5修改/etc/profile二、启动hadoop2.1hadoop初始化2.2启动hadoop三、测试hadoop四、使用hadoop 背景本地vmware安装三台centos7的虚拟机，主机名和ip地址分别为hserver1:192.168.127.128；hse
转载
2023-11-08 18:30:46
83阅读
在大数据技术的发展浪潮中，Hadoop作为一个开源框架，凭借其强大的数据处理能力和分布式存储架构，已经在企业级数据处理上占据了重要的一席之地。Hadoop的源代码庞大复杂，理解其内部工作原理，对于深入掌握大数据技术有着不可或缺的价值。
**时间轴**
- 2005年：Hadoop项目启动，由Doug Cutting和Mike Cafarella共同开发。
- 2011年：Apache Hadoo
由于Hadoop的MapReduce和HDFS都有通信的需求，需要对通信的对象进行序列化。Hadoop并没有采用Java的序列化，而是引入了它自己的系统。 org.apache.hadoop.io中定义了大量的可序列化对象，他们都实现了Writable接口。实现了Writable接口的一个典型例子如下： java代码1 public class MyWritable impleme
转载
2023-06-12 21:10:08
110阅读
文章目录前言准备工作定义接口实现接口启动一个server构建一个client的代理执行相应的方法。Server底层实现内部类介绍CallConnection。HandlerListenerReaderResponderServer的启动接收请求Reader线程读取数据Handler线程处理请求客户端实现获取代理发送请求。总结 前言因为hadoop底层各种通讯都用的是rpc，如client和nam
转载
2024-02-04 21:51:37
105阅读
0.RPC 通信原理解析0）回顾1）需求： 模拟 RPC 的客户端、服务端、通信协议三者如何工作的2）代码编写： （1）在 HDFSClient 项目基础上创建包名 com.atguigu.rpc （2）创建 RPC 协议public interface RPCProtocol {
long versionID = 666;
void mkdirs(String pat
转载
2023-08-04 10:36:25
78阅读
Hadoop源代码分析（一八）DataNode的介绍基本告一段落。我们开始来分析NameNode。相比于DataNode，NameNode比较复杂。系统中只有一个NameNode，作为系统文件目录的管理者和“inode表”（熟悉UNIX的同学们应该了解inode）。为了高可用性，系统中还存在着从NameNode。先前我们分析DataNode的时候，关注的是数据块。NameNode作为HDFS中文件
转载
2023-09-13 23:24:40
202阅读
1.数据库的创建：createtabletodo(idintegerprimarykey,titlevarchar(50),todoclassidinteger,stateinteger,create_dtdatetime,modify_dtdatetime);createtabletodoclass(idintegerprimarykey,namevarchar(30),parentidinte
原创
精选
2018-04-27 16:27:37
4979阅读
点赞
1评论
首先，百度搜索菜鸟教程，进入官网，搜索git ,跳转到git 界面，开始学习。其实就是一个网址：https://www.runoob.com/git/git-basic-operations.html 往下有Windows 安装教程 按教程安装git ...
转载
2021-07-18 16:46:00
336阅读
2评论
①分页效果：②分页PageBean模型设计1package com.cn.utils;23import java.util.List;45public class PageBeanT> {6 7 /**8
原创
2023-09-01 15:26:51
0阅读
Linux操作系统是一款开源的操作系统，而Linux完整版也被称为红帽（Red Hat）。红帽是一家总部位于美国的软件公司，专注于提供企业级的Linux服务。作为世界上最为流行的Linux发行版之一，红帽拥有着强大的功能和稳定的性能，在企业领域得到了广泛的应用。
红帽操作系统作为一款企业级的操作系统，具有以下几个显著特点：
首先，红帽具有卓越的稳定性和可靠性。众所周知，企业级的应用对系统的稳定
原创
2024-03-08 09:45:29
58阅读
http://v.youku.com/v_show/id_XMzcwMDgzOTk2.html
转载
2022-07-12 10:51:39
316阅读
2021SC@SDUSC研究内容简略介绍上周我们分析了类Partitioner以及其代表子类HashPartitioner，并对字定义Partitioner做了一些尝试。随后又分析了QueueAclsInfo和RecordReader，同时对RecordReader的方法及几种常见RecordReader做了分析。本次我们将要继续分析与RecordReader紧密相连的类org.apache.ha
转载
2023-09-27 12:09:44
75阅读
摘要: hdfs分析的最后一篇首先进行一下dataNode（以下简称dn）的源码分析，然后总结下对hdfs包的设计模式的一点看法：DataNode既可以看做是一个类，也可以认为是一个进程，还可以认为是一台服务器，总之他的主要作用就是 ...
hdfs分析的最后一篇首先进行一下dataNode（以下简称dn）的源码分析，然后总结下对hdfs包的设计模式的一点看法： DataNode既
转载
2024-04-28 10:26:05
26阅读
修改了前次程序的错误。
修改了如下内容。
::close command prompt @echo off
::Set the default times set Default_hour=17 set Default_minute=16 set Default_second=30 ::Cycling.:CopeHou
原创
2008-02-27 11:34:57
1895阅读
1评论
ASCII码表完整版
ASCII值
控制字符
ASCII值
控制字符
ASCII值
控制字符
ASCII值
控制字符
原创
2012-07-28 16:41:54
728阅读
MYSQL 完整安装最简洁安装
原创
2014-04-19 12:43:54
644阅读
原理可以看：https://blog.csdn.net/zhuhuibeishadiao/article/details/51114107#include<ntddk.h>#include<ntimage.h>//SSDT表结构#pragmapack(1)//#pragmapack(n)作用：C编译器将按照n个字节对齐typedefstructServiceDescript
原创
2018-10-18 20:52:29
932阅读
#（1）安装nodeexporternodeexporter作用：是收集操作系统的基本系统,例如cpu，内存,硬盘空间等基本信息,并对外提供api接口用于prometheus查询存储;1）docker方式运行nodeexporterdockerrun-d--namenode-exporter-p9100:9100-v"/proc:/host/proc:ro"-v"/sys:/host/sys:ro
原创
2019-04-04 19:00:55
10000+阅读
结构总览前言本文翻译自http://jalammar.github.io/illustrated-transformer，是笔者看过的把 Transformer 讲解得最好的文章。这篇文章从输入开始，一步一步演示了数据在 Transformer 中的流动过程。由于看过一些中文翻译的文章，感觉不够好，所以我自己翻译了一个版本，在一些难以直译的地方，我加入了一些原文没有的文字说明，来更好地解释概念。另
原创
2021-02-04 19:44:49
352阅读
Flex 生成AsDoc用的是SDK自带的asdoc.exe工具 生成AsDoc文档的方式有两种：ant或者FlashBuilder 外部配置工具 方法一：外部配置工具 新增一个外部配置工具。过程例如以下： 配置完毕后，直接单击执行button就自己主动生成AsDoc文档了。（注：这样的方式生成的A
原创
2021-08-07 18:33:09
437阅读
