学习了servlet和jsp还有数据库的技术后，便自己写了一个信息后台管理的项目，其中包括的功能有：（一）、用户的登录、注销还有修改密码（二）、分类的管理以及对分类的增删改查（三）、产品的管理以及对产品的增删改查和所属的分类管理在做项目前，先进行准备工作和分析，包括设计层和导入包等，在此我采用的是三层架构的分层模式对这个项目进行分层来设计，并且对此来个步骤：一、系统数据库设计 三种表二
转载
2024-01-26 23:22:29
282阅读
http://svn.apache.org/repos/asf/hadoop/
原创
2022-07-19 11:28:35
67阅读
今天手写一个hadoop的案例:需求:找出每个月气温最高的2天思路:记录特点 每年 每个月 最高 2天 1天多条记录？进一步思考 年月分组 温度升序 key中要包含时间和温度！MR原语：相同的key分到一组 通过GroupCompartor设置分组规则自定义数据类型Weather 包含时间 包含温度 自定义排序比较规则自定义分组比较 年月相同被视为相同的key 那么reduce迭代时，相同年月的记
转载
2023-09-26 15:55:29
80阅读
该项目为 SSM 核心库 spring-wind-core 演示项目已集成组件：1、mybatis-plus （mybatis 自动 crud 功能）2、kisso （单点授权、权限管理、验证码、api 服务、oauth2认证）3、mail（收发邮件）4、veloctiy （继承模板支持、环境控制）5、slf4j-api（日志 logback 管理）7、fastjson （json 处理）8、qu
原创
2020-12-28 13:05:04
609阅读
关键字: 分布式云计算
Google的核心竞争技术是它的计算平台。Google的大牛们用了下面5篇文章，介绍了它们的计算设施。 GoogleCluster：http://research.google.com/archive/googlecluster.html Chubby：http://labs.google.com/papers/chubby.html GFS：http://labs.go
转载
2021-08-18 10:06:57
318阅读
2021SC@SDUSC1.Hadoop配置信息处理1.1 Windows 操作系统的配置文件Windows 系统广泛使用一种特殊化的 ASCII 文件（以“ini”为文件扩展名）作为它的主要配置文件标准。INI文件被称为初始化文件（Initialization File）或概要文件（profile）。应用程序可以拥有自己的配置文件，存储应用的设置信息，也可以访问 Windows 的基本
转载
2024-10-15 08:29:31
17阅读
本节介绍两种调试Hadoop源代码的方法：利用Eclipse远程调试工具和打印调试日志。这两种方法均可以调试伪分布式工作模式和完全分布式工作模式下的Hadoop。本节主要介绍伪分布式工作模式下的Hadoop调试方法。（1）利用Eclipse进行远程调试下面以调试ResourceManager为例，介绍利用Eclipse远程调试的基本方法，这可分两步进行。步骤1 调试模式下启动Hadoop。在Had
原创
2015-03-29 11:37:46
1374阅读
Hadoop源代码学习（完整版） Hadoop源代码分析（一）
Hadoop
Mapreduce
Google
HBase
Facebook
经济不行啦，只好潜心研究技术。 Google的核心竞争技术是它的计算平台。Google的大牛们用了下面5篇文章，介绍了它们的计算设施。 GoogleClu
转载
2024-05-23 12:29:51
24阅读
之前已经介绍了如何搭建CentOS虚拟机并且安装Hadoop，使用命令成功访问操作Hadoop的hdfs，接下来介绍如果使用java 代码操作Hadoop的hdfs.一、环境准备1.CentOS72.Hadoop3.1.13.SpringBoot2.1.0代码地址：springboot集成hadoop项目代码二、开发准备说明：因为后面设置了虚拟机固定IP为192.168.2.2 替换掉之前的地址即
转载
2023-09-22 13:03:14
136阅读
Avro Source
监听Avro端口并从外部Avro客户端流接收事件。
转载
2023-05-25 22:34:26
89阅读
1.概述 在完成分析Hadoop2源码的准备工作后，我们进入到后续的源码学习阶段。本篇博客给大家分享，让大家对Hadoop V2有个初步认识，博客的目录内容如下所示：Hadoop的渊源Hadoop V2部分项目图各个包的功能介绍 本篇文章的源码是基于Hadoop-2.6.0来分析，其他版本的Hadoop的源码可以此作为参考分析。2.Hadoop的渊源 其实，早年Google的核心竞争力是它的
转载
2024-02-23 11:23:18
30阅读
前言： 最近一直在分析hadoop的运行流程，我们查阅了大量的资料，虽然从感性上对这个流程有了一个认识但是我总是感觉对mapreduce的运行还是没有一个全面的认识，所以决定从源代码级别对mapreduce的运行流程做一个分析。 前奏: 首先从任务提交开
转载
2023-07-30 14:18:43
37阅读
简介springboot整合Hadoop，进击大数据一小步。 功能介绍1、hdfs基本操作① 实现最基本的文件操作系统 √2、MapReduce基本操作① 实现简单的分词和统计 √3、yaml基本了解以及操作4、案例① 数据分析（日志为案例） √② 电影推荐 √③ 职位推荐④ 图书推荐② 个体价值计算Hadoop 3.1.2安装（仅展示win下安装方式）工程结构hadoop-demo
├── do
转载
2023-08-30 15:44:56
83阅读
在网上看到了很多此文章的装载，但是都是纯文字，这篇文章在没有图片的情况下阅读起来意义不大了。花了点时间上传了100多张图片，希望对大家学习hadoop有帮助。Hadoop源代码分析（一）关键字: 分布式 云计算 Google的核心竞争技术是它的计算平台。Google的大牛们用了下面5篇文章，介绍了它们的计算设施。 GoogleCluster：
转载
2023-09-13 23:40:49
39阅读
目录1 任务2 过程2.1 熟悉常用的 Hadoop 命令2.2 Hadoop环境搭建1.SSH登录权限设置2.安装Java环境3.Hadoop的安装4.伪分布式安装配置2.3 Wordcount实例2.4 搭建eclipse环境编程实现Wordcount程序1、安装eclipse2.配置Hadoop-Eclipse-Plugin3.在Eclipse中操作HDFS中的
转载
2024-08-02 11:40:24
54阅读
# Hadoop项目实战：大数据处理的利器
## 引言
在当今信息爆炸的时代，大数据的处理成为了一个重要的问题。为了解决这个问题，出现了许多大数据处理的工具和框架。其中Hadoop项目是一个非常著名的开源框架，它提供了分布式文件系统和大数据处理的能力。本文将介绍Hadoop项目的实战应用，包括如何搭建Hadoop集群、如何编写MapReduce任务等。
## Hadoop简介
Hadoop
原创
2023-08-22 05:32:11
105阅读
以写文件为例，串联整个流程的源码： FSDataOutputStream out = fs.create(outFile); 1. DistributedFileSystem继承并实现了FileSystem，该对象是终端用户和hadoop分布式文件系统交互的接口。原文说明： /****************************************************
转载
2023-12-01 22:19:15
24阅读
在IT技术领域，大数据是热点，大数据技术也是热点，以Hadoop为例，作为主流的第一代大数据技术框架，可以说是入门必学。而学习Hadoop，通常从核心框架HDFS和MapReduce学起，今天我们就主要来讲讲Hadoop MapReduce编程入门。MapReduce入门简介MapReduce是Hadoop的核心框架之一，主要负责分布式并行计算。MapReduce 既是计算框架，也是编程模型，主要
转载
2023-08-03 20:53:24
65阅读
在上一篇文章《Hadoop核心源码剖析系列（一）》中，我们给大家介绍了Hadoop底层通信原理RPC的模型，了解了Hadoop RPC服务之间的通信原理。主要分享了自己工作以来学会的阅读剖析技术源码的方法——场景驱动法，希望能解决小伙伴们 阅读源码难、无从下手的问题，并且为大家剖析了NameNode初始化的核心流程，大家有兴趣可以点击阅读，如果想深入了解的话需要自己动手去查看代码细节。
转载
2023-08-04 10:58:43
77阅读
Hadoop起源：hadoop的创始者是Doug Cutting，起源于Nutch项目，该项目是作者尝试构建的一个开源的Web搜索引擎。起初该项目遇到了阻碍，因为始终无法将计算分配给多台计算机。谷歌发表的关于GFS和MapReduce相关的论文给了作者启发，最终让Nutch可以在多台计算机上稳定的运行;后来雅虎对这项技术产生了很大的兴趣，并组建了团队开发，从Nutch中剥离出分布式计算模块命名为“
转载
2023-08-30 15:44:05
52阅读
