目录一、Hadoop3.3安装1.1下载hadoop1.2解压hadoop1.3新建目录1.4修改hadoop配置文件1.5修改/etc/profile二、启动hadoop2.1hadoop初始化2.2启动hadoop三、测试hadoop四、使用hadoop 背景本地vmware安装三台centos7的虚拟机，主机名和ip地址分别为hserver1:192.168.127.128；hse
转载
2023-11-08 18:30:46
83阅读
在大数据技术的发展浪潮中，Hadoop作为一个开源框架，凭借其强大的数据处理能力和分布式存储架构，已经在企业级数据处理上占据了重要的一席之地。Hadoop的源代码庞大复杂，理解其内部工作原理，对于深入掌握大数据技术有着不可或缺的价值。
**时间轴**
- 2005年：Hadoop项目启动，由Doug Cutting和Mike Cafarella共同开发。
- 2011年：Apache Hadoo
由于Hadoop的MapReduce和HDFS都有通信的需求，需要对通信的对象进行序列化。Hadoop并没有采用Java的序列化，而是引入了它自己的系统。 org.apache.hadoop.io中定义了大量的可序列化对象，他们都实现了Writable接口。实现了Writable接口的一个典型例子如下： java代码1 public class MyWritable impleme
转载
2023-06-12 21:10:08
110阅读
文章目录前言准备工作定义接口实现接口启动一个server构建一个client的代理执行相应的方法。Server底层实现内部类介绍CallConnection。HandlerListenerReaderResponderServer的启动接收请求Reader线程读取数据Handler线程处理请求客户端实现获取代理发送请求。总结 前言因为hadoop底层各种通讯都用的是rpc，如client和nam
转载
2024-02-04 21:51:37
105阅读
但，我们通常是费尽心思做好了搜索词对应首选着陆页的选取与内容优化。可却忽略了结果展示时，站内搜索词与其首选着陆页是否已很好匹配？嫩是百密一疏啊！
其实，与外部Google、Baidu搜索引擎不同，我们完全有权力与能力控制站内搜索结果的排名。与其让访客“下一页”去页页寻找，遭人厌烦，何不在第一页将核心关键字与其首选着陆页做好匹配？如此甚好，最佳匹配的结果项排NO.1，干
原创
2012-05-26 15:25:18
436阅读
0.RPC 通信原理解析0）回顾1）需求： 模拟 RPC 的客户端、服务端、通信协议三者如何工作的2）代码编写： （1）在 HDFSClient 项目基础上创建包名 com.atguigu.rpc （2）创建 RPC 协议public interface RPCProtocol {
long versionID = 666;
void mkdirs(String pat
转载
2023-08-04 10:36:25
78阅读
Hadoop源代码分析（一八）DataNode的介绍基本告一段落。我们开始来分析NameNode。相比于DataNode，NameNode比较复杂。系统中只有一个NameNode，作为系统文件目录的管理者和“inode表”（熟悉UNIX的同学们应该了解inode）。为了高可用性，系统中还存在着从NameNode。先前我们分析DataNode的时候，关注的是数据块。NameNode作为HDFS中文件
转载
2023-09-13 23:24:40
202阅读
首先，百度搜索菜鸟教程，进入官网，搜索git ,跳转到git 界面，开始学习。其实就是一个网址：https://www.runoob.com/git/git-basic-operations.html 往下有Windows 安装教程 按教程安装git ...
转载
2021-07-18 16:46:00
336阅读
2评论
①分页效果：②分页PageBean模型设计1package com.cn.utils;23import java.util.List;45public class PageBeanT> {6 7 /**8
原创
2023-09-01 15:26:51
0阅读
Linux操作系统是一款开源的操作系统，而Linux完整版也被称为红帽（Red Hat）。红帽是一家总部位于美国的软件公司，专注于提供企业级的Linux服务。作为世界上最为流行的Linux发行版之一，红帽拥有着强大的功能和稳定的性能，在企业领域得到了广泛的应用。
红帽操作系统作为一款企业级的操作系统，具有以下几个显著特点：
首先，红帽具有卓越的稳定性和可靠性。众所周知，企业级的应用对系统的稳定
原创
2024-03-08 09:45:29
58阅读
http://v.youku.com/v_show/id_XMzcwMDgzOTk2.html
转载
2022-07-12 10:51:39
316阅读
1.数据库的创建：createtabletodo(idintegerprimarykey,titlevarchar(50),todoclassidinteger,stateinteger,create_dtdatetime,modify_dtdatetime);createtabletodoclass(idintegerprimarykey,namevarchar(30),parentidinte
原创
精选
2018-04-27 16:27:37
4979阅读
点赞
1评论
2021SC@SDUSC研究内容简略介绍上周我们分析了类Partitioner以及其代表子类HashPartitioner，并对字定义Partitioner做了一些尝试。随后又分析了QueueAclsInfo和RecordReader，同时对RecordReader的方法及几种常见RecordReader做了分析。本次我们将要继续分析与RecordReader紧密相连的类org.apache.ha
转载
2023-09-27 12:09:44
75阅读
摘要: hdfs分析的最后一篇首先进行一下dataNode（以下简称dn）的源码分析，然后总结下对hdfs包的设计模式的一点看法：DataNode既可以看做是一个类，也可以认为是一个进程，还可以认为是一台服务器，总之他的主要作用就是 ...
hdfs分析的最后一篇首先进行一下dataNode（以下简称dn）的源码分析，然后总结下对hdfs包的设计模式的一点看法： DataNode既
转载
2024-04-28 10:26:05
26阅读
序列到序列（seq2seq）模型是一种深度学习模型，在很多任务上都取得了成功，如：机器翻译、文本摘要、图像描述生成。谷歌翻译在 2016 年年末开始使用这种模型。有2篇开创性的论文：Sutskever等2014年发布的：https://papers.nips.cc/paper/5346-sequence-to-sequence-learning-with-neural-networks.pdf，C
原创
2021-04-06 19:39:37
607阅读
笔者看过的 Transformer 讲解的最好的文章。
原创
2023-01-01 10:35:40
290阅读
ASCII码表完整版ASCII值控制字符ASCII值控制字符ASCII值控制字符ASCII值控制字符 0 NUT 32 (space) 64 @ 96 、1 SOH 33 ！65 A 97 a 2 STX 34 ”66 B 98 b 3 ETX 35 # 67 C 99 c 4 EOT 36 $ 68 D 100 d 5 ENQ 37 % 69 E 101 e 6 ACK 38 & 70 F 10
原创
2022-09-01 15:17:31
6167阅读
目录0 主要内容1MATLAB的发展 2MATLAB的优点3MATLAB的工作环境3.1 命令窗(command window)3.2 图形窗(figu
原创
2022-08-02 20:33:35
282阅读
