在这篇博文中，我将详细记录如何通过Docker来搭建Hadoop。Hadoop是一个重要的开源框架，用于分布式存储和处理大数据。在使用Docker搭建Hadoop时，采用容器化技术，可以有效简化环境配置，提升部署效率。下面是我的搭建过程。
## 环境准备
在搭建Hadoop之前，首先需要确保环境的准备工作完成。以下是一些前置依赖的安装步骤。
```bash
# 更新软件包索引
sudo ap
之前一直在上面写博客，思虑了很久，终于还是忍不住想自己搭建一个博客。想过使用 wordpress，需要找一个免费的主机确实又是个麻烦事。所以静态博客会是个好的选择。自己了解到的静态博客有 jekyll 和 octopress、hexo，jekyll 和 octopress 是基于 ruby 开发的，说实话又要来学一门新语言，我是不太愿意的。hexo 是基于 nodejs 的，而 nodejs 又号
转载
2024-09-06 06:48:09
22阅读
# Hadoop与MySQL对比
## 引言
在大数据时代，数据处理和存储是非常重要的任务。Hadoop和MySQL是两个非常常见的工具，用于处理和存储数据。本文将对Hadoop和MySQL进行全面的对比，包括其概述、架构、数据处理和性能等方面。
## 概述
### Hadoop
Hadoop是一个开源的分布式计算框架，用于处理大规模数据集。它基于Google的MapReduce和分布式
原创
2023-09-09 09:48:34
169阅读
# 使用 Docker 部署 Hadoop 集群的好处
在大数据时代，Hadoop 作为一个开源的大数据处理框架，因其强大的分布式计算能力被广泛应用。但是，搭建和管理 Hadoop 集群常常需要复杂的环境配置和维护工作。借助 Docker 技术，我们可以大大简化 Hadoop 集群的部署过程，提升运维效率。本文将探讨使用 Docker 部署 Hadoop 集群的好处，并通过具体代码示例来进行说明
# 连接Hadoop数据库的Java示例
在Java中连接Hadoop数据库，通常使用Hadoop的官方API来实现。Hadoop提供了许多不同的API，比如Hive、HBase、Spark等，我们可以根据具体的需求选择合适的API来连接Hadoop数据库。
## 使用Hive连接Hadoop数据库
Hive是一种数据仓库工具，可以让用户通过SQL查询来分析Hadoop中的数据。下面是一个简
原创
2024-06-15 05:49:23
45阅读
1、安装配置JDK
2、安装Cygwin
参考：https://www.cnblogs.com/feipeng8848/p/8555648.html
3、安装hadoop
https://blog.csdn.net/qq_35535690/article/details/81976032
转载
2021-08-08 17:27:37
547阅读
# Hadoop企业征信大数据分析指南
在当今大数据环境下，企业征信分析变得越来越重要，而使用Hadoop框架进行大数据处理是一个成熟且有效的解决方案。本文将帮助你了解如何使用Hadoop进行企业征信大数据分析，涵盖整个流程以及具体的实现步骤。
## 整体流程
在开始之前，我们首先来看一下整个数据分析的流程。以下是一个简单的流程图，展示了从数据采集到分析报告的整个过程：
| 步骤
1、Spark中的HashShufle的有哪些不足？ 1）shuffle产生海量的小文件在磁盘上，此时会产生大量耗时的、低效的IO操作； 2）容易导致内存不够用，由于内存需要保存海量的文件操作句柄和临时缓存信息，如果数据处理规模比较大的话，容易出现OOM； 3）容易出现数据倾斜，导致OOM。2、 conslidate是如何优化Hash shuffle时在map端产生的小文件？ 1）conslida
MapReduce：自己处理业务相关代码 + 自身的默认代码 文章目录1.MapReduce优缺点2.MapReduce进程3.序列化4 InputFormat数据输入4.1 切片与MapTask并行度决定机制4.2 Job提交流程源码详解4.3 FileInputFormat 切片机制4.4 FileInputFormat4.5 CombineTextInputFormat切片机制5.MapRe
转载
2024-03-20 07:21:26
96阅读
1.哈希取余分区 2亿条记录就是2亿个k,v，我们单机不行必须要分布式多机，假设有3台机器构成一个集群，用户每次读写操作都是根据公式： hash(key) % N个机器台数，计算出哈希值，用来决定数据映射到哪一个节点上。1.1优点：简单粗暴，直接有效，只需要预估好数据规划好节点，例如3台、8台、10台，就能保证一段时间的数据支撑。使用Hash算法让固定的一部分请求落到同一台服务器上，这样每台服务器
转载
2023-10-20 20:01:20
86阅读
SpringBoot 整合 Hibernate 文章目录SpringBoot 整合 Hibernate1. 配置 SessionFactory2. 配置事务 TransactionConfig3. 排除 Jpa 自动配置4. 应用4.1 添加 department entity 完成`一对多`映射4.2 DepartmentService4.3 DepartmentDao5. 测试 最近和同事一起
转载
2023-09-27 23:37:44
140阅读
今天是冬至日，广州冷了几天，阴了几天后，又阳光灿烂，气温升到了25°，阳台外，依然绿树成荫，鸟雀声声，冬眠了几天的乌龟也从角落爬出来伸展四肢晒太阳，这应该是去爬山的好日子，而正在学大数据的我，深感路还漫长，继续爬大数据这座山吧！大数据何常不是一朵信息科学之花呢言归正传，今天要学习的是docker的安装使用。为什么学习大数据要学习docker呢，因为我在学校的电脑是32G内存的，开几个虚拟机，构建大
转载
2023-11-11 00:55:27
44阅读
hadoop-2.7.3分布式部署
一、环境介绍 IP hostJDKlinux版本hadop版本192.168.0.1master1.8.0_111centos 7.3.1611hadoop-2.7.3192.168.0.2slave11.8.0_111centos 7.3.1611hadoo
转载
2024-02-02 13:36:05
117阅读
【README】本文是在单机上安装hbase （仅用于学习交流）； 相关命令：启动hadop：start-all.sh (start-dfs.sh start-yarn.sh) 关闭hadoop：stop-all.sh 启动与关闭hbase： start-hbase.sh stop-
@ Sqoop的简介 sqoop，即SQL To Hadop，目的是完成关系型数据库导入导出到Hadoop Sqoop的原理是将命令翻译为mapreduce程序执行，MR没有Reduce阶段，只有Map阶段 Sqoop的安装 配置环境 可以在/etc/profile中配置，导出为全局变量或在sqoo
原创
2021-07-20 09:17:25
386阅读
将2.6.0tar.gz上传到 / usr , cchmod -R hadoop:hadop hadoop-2.6.0 ， 配置 /etc/profile2. java的环境配置 , hadoop环境配置ssh免密登录配置 （查看之前记录）3. 配置文件hadoop-env.sh中配置java环境core-sit.xmlhdfs-site.xml4.格式化文件系统# had
翻译
2018-07-23 22:27:11
1640阅读
# 解决"hadop java_home is not set"问题
## 简介
当在Kubernetes集群中使用Hadoop时，可能会遇到"hadoop java_home is not set"的错误。这通常是由于Hadoop无法找到Java的安装路径所致。在本文中，我们将介绍如何设置Java的环境变量，以解决这个问题。
## 步骤
步骤 | 操作
---|---
1 | 查看Java
原创
2024-05-16 10:11:42
80阅读
目前项目使用的技术栈是,前端UI框架Ant Design Pro，数据交互使用react,后端使用的是springcloud,离线存储数据使用hadop(刚搭完还没开始用).后端的技术栈世面上基本稳定都用微服务这套， 因为spring全家桶一直非常稳定。 Ant Design Pro目前蚂蚁金服和阿
转载
2019-07-31 11:47:00
250阅读
2评论
一直忙于工作，也没时间总结。现在有点零散时间把之前做的笔记整理一下。目前项目使用的技术栈是,前端UI框架Ant Design Pro，数据交互使用react,后端使用的是springcloud,离线存储数据使用hadop(刚搭完还没开始用).后端的技术栈世面上基本稳定都用微服务这套
转载
2022-04-24 14:29:16
508阅读
一、本文思路【1】、配置java环境–JDK12（Hadoop的底层实现语言是java,hadoop运行需要JDK环境）【2】、安装Hadoop
1、解压hadop2、配置hadoop环境变量3、配置Hadoop文件二、所需下载文件【1】JDK下载地址
【2】Hadoop下载地址—推荐binary版本是提前编译好的
【3】hadoop在windows上运行需要winutils支持和hadoop.d
转载
2024-06-03 16:01:44
63阅读
