1、安装配置JDK
2、安装Cygwin
参考：https://www.cnblogs.com/feipeng8848/p/8555648.html
3、安装hadoop
https://blog.csdn.net/qq_35535690/article/details/81976032
转载
2021-08-08 17:27:37
547阅读
在这篇博文中，我将详细记录如何通过Docker来搭建Hadoop。Hadoop是一个重要的开源框架，用于分布式存储和处理大数据。在使用Docker搭建Hadoop时，采用容器化技术，可以有效简化环境配置，提升部署效率。下面是我的搭建过程。
## 环境准备
在搭建Hadoop之前，首先需要确保环境的准备工作完成。以下是一些前置依赖的安装步骤。
```bash
# 更新软件包索引
sudo ap
之前一直在上面写博客，思虑了很久，终于还是忍不住想自己搭建一个博客。想过使用 wordpress，需要找一个免费的主机确实又是个麻烦事。所以静态博客会是个好的选择。自己了解到的静态博客有 jekyll 和 octopress、hexo，jekyll 和 octopress 是基于 ruby 开发的，说实话又要来学一门新语言，我是不太愿意的。hexo 是基于 nodejs 的，而 nodejs 又号
转载
2024-09-06 06:48:09
22阅读
# Hadoop与MySQL对比
## 引言
在大数据时代，数据处理和存储是非常重要的任务。Hadoop和MySQL是两个非常常见的工具，用于处理和存储数据。本文将对Hadoop和MySQL进行全面的对比，包括其概述、架构、数据处理和性能等方面。
## 概述
### Hadoop
Hadoop是一个开源的分布式计算框架，用于处理大规模数据集。它基于Google的MapReduce和分布式
原创
2023-09-09 09:48:34
169阅读
# 使用 Docker 部署 Hadoop 集群的好处
在大数据时代，Hadoop 作为一个开源的大数据处理框架，因其强大的分布式计算能力被广泛应用。但是，搭建和管理 Hadoop 集群常常需要复杂的环境配置和维护工作。借助 Docker 技术，我们可以大大简化 Hadoop 集群的部署过程，提升运维效率。本文将探讨使用 Docker 部署 Hadoop 集群的好处，并通过具体代码示例来进行说明
# 连接Hadoop数据库的Java示例
在Java中连接Hadoop数据库，通常使用Hadoop的官方API来实现。Hadoop提供了许多不同的API，比如Hive、HBase、Spark等，我们可以根据具体的需求选择合适的API来连接Hadoop数据库。
## 使用Hive连接Hadoop数据库
Hive是一种数据仓库工具，可以让用户通过SQL查询来分析Hadoop中的数据。下面是一个简
原创
2024-06-15 05:49:23
45阅读
# Hadoop企业征信大数据分析指南
在当今大数据环境下，企业征信分析变得越来越重要，而使用Hadoop框架进行大数据处理是一个成熟且有效的解决方案。本文将帮助你了解如何使用Hadoop进行企业征信大数据分析，涵盖整个流程以及具体的实现步骤。
## 整体流程
在开始之前，我们首先来看一下整个数据分析的流程。以下是一个简单的流程图，展示了从数据采集到分析报告的整个过程：
| 步骤
MapReduce：自己处理业务相关代码 + 自身的默认代码 文章目录1.MapReduce优缺点2.MapReduce进程3.序列化4 InputFormat数据输入4.1 切片与MapTask并行度决定机制4.2 Job提交流程源码详解4.3 FileInputFormat 切片机制4.4 FileInputFormat4.5 CombineTextInputFormat切片机制5.MapRe
转载
2024-03-20 07:21:26
96阅读
1、Spark中的HashShufle的有哪些不足？ 1）shuffle产生海量的小文件在磁盘上，此时会产生大量耗时的、低效的IO操作； 2）容易导致内存不够用，由于内存需要保存海量的文件操作句柄和临时缓存信息，如果数据处理规模比较大的话，容易出现OOM； 3）容易出现数据倾斜，导致OOM。2、 conslidate是如何优化Hash shuffle时在map端产生的小文件？ 1）conslida
SpringBoot 整合 Hibernate 文章目录SpringBoot 整合 Hibernate1. 配置 SessionFactory2. 配置事务 TransactionConfig3. 排除 Jpa 自动配置4. 应用4.1 添加 department entity 完成`一对多`映射4.2 DepartmentService4.3 DepartmentDao5. 测试 最近和同事一起
转载
2023-09-27 23:37:44
140阅读
1.哈希取余分区 2亿条记录就是2亿个k,v，我们单机不行必须要分布式多机，假设有3台机器构成一个集群，用户每次读写操作都是根据公式： hash(key) % N个机器台数，计算出哈希值，用来决定数据映射到哪一个节点上。1.1优点：简单粗暴，直接有效，只需要预估好数据规划好节点，例如3台、8台、10台，就能保证一段时间的数据支撑。使用Hash算法让固定的一部分请求落到同一台服务器上，这样每台服务器
转载
2023-10-20 20:01:20
86阅读
今天是冬至日，广州冷了几天，阴了几天后，又阳光灿烂，气温升到了25°，阳台外，依然绿树成荫，鸟雀声声，冬眠了几天的乌龟也从角落爬出来伸展四肢晒太阳，这应该是去爬山的好日子，而正在学大数据的我，深感路还漫长，继续爬大数据这座山吧！大数据何常不是一朵信息科学之花呢言归正传，今天要学习的是docker的安装使用。为什么学习大数据要学习docker呢，因为我在学校的电脑是32G内存的，开几个虚拟机，构建大
转载
2023-11-11 00:55:27
44阅读
Ansible控制windows1、 Windows下如何工作在ansible控制linux的时候，用的是ssh的方式，在windows中，使用的是power shell，在客户端机器上也是不用装任何客户端的。在控制windows机器的时候，使用的模块为“winrm“。2、 在控制机上安装在linux控制机
转载
2024-08-19 15:26:03
1129阅读
所谓群集就是共同为客户机提供网络资源的一组系统在实际应用中 根据群集实现的功能可以分为2大类网络负载平衡群集（NLB） 最多支持32台节点 可以再工作组环境和域环境下搭建故障转移群集 最多16个节点接下来我们来看下NLB群集我的是域环境搭建的 在DC 1.2 上以管理员登陆 在上面添加负载平衡功能安装完成后 在运行那儿输入命令nlbmgr 打开网路负载平衡管理器点击下一步完成就行第二台
原创
2014-08-30 20:14:05
4488阅读
windows安装Netcat** [netcat下载地址](https://eternallybored.org/misc/netcat/)**将其解压配置环境变量Path中新建在cmd中测试nc -l -p 9999
原创
2021-08-03 10:04:53
7794阅读
WaitAndWorkInThreadPool.h#pragma once#include <wind
原创
2022-09-23 13:46:41
518阅读
https://m.dandelioncloud.cn/article/details/1603681362538348545
原创
2023-09-07 17:37:54
406阅读
# 从Windows到Docker：使用Windows镜像
在现代软件开发中，容器化技术已经成为一种不可或缺的工具。Docker作为最受欢迎的容器化平台之一，为开发人员提供了一种简单而强大的方式来构建、打包和部署应用程序。在Windows平台上，使用Docker来创建和管理Windows镜像也是非常方便的。
## 什么是Windows镜像？
Windows镜像是一个包含了Windows操作系
原创
2024-05-19 04:56:56
409阅读
