之前一直在上面写博客，思虑了很久，终于还是忍不住想自己搭建一个博客。想过使用 wordpress，需要找一个免费的主机确实又是个麻烦事。所以静态博客会是个好的选择。自己了解到的静态博客有 jekyll 和 octopress、hexo，jekyll 和 octopress 是基于 ruby 开发的，说实话又要来学一门新语言，我是不太愿意的。hexo 是基于 nodejs 的，而 nodejs 又号
转载
2024-09-06 06:48:09
22阅读
在这篇博文中，我将详细记录如何通过Docker来搭建Hadoop。Hadoop是一个重要的开源框架，用于分布式存储和处理大数据。在使用Docker搭建Hadoop时，采用容器化技术，可以有效简化环境配置，提升部署效率。下面是我的搭建过程。
## 环境准备
在搭建Hadoop之前，首先需要确保环境的准备工作完成。以下是一些前置依赖的安装步骤。
```bash
# 更新软件包索引
sudo ap
# 使用 Docker 部署 Hadoop 集群的好处
在大数据时代，Hadoop 作为一个开源的大数据处理框架，因其强大的分布式计算能力被广泛应用。但是，搭建和管理 Hadoop 集群常常需要复杂的环境配置和维护工作。借助 Docker 技术，我们可以大大简化 Hadoop 集群的部署过程，提升运维效率。本文将探讨使用 Docker 部署 Hadoop 集群的好处，并通过具体代码示例来进行说明
1.哈希取余分区 2亿条记录就是2亿个k,v，我们单机不行必须要分布式多机，假设有3台机器构成一个集群，用户每次读写操作都是根据公式： hash(key) % N个机器台数，计算出哈希值，用来决定数据映射到哪一个节点上。1.1优点：简单粗暴，直接有效，只需要预估好数据规划好节点，例如3台、8台、10台，就能保证一段时间的数据支撑。使用Hash算法让固定的一部分请求落到同一台服务器上，这样每台服务器
转载
2023-10-20 20:01:20
86阅读
# Hadoop与MySQL对比
## 引言
在大数据时代，数据处理和存储是非常重要的任务。Hadoop和MySQL是两个非常常见的工具，用于处理和存储数据。本文将对Hadoop和MySQL进行全面的对比，包括其概述、架构、数据处理和性能等方面。
## 概述
### Hadoop
Hadoop是一个开源的分布式计算框架，用于处理大规模数据集。它基于Google的MapReduce和分布式
原创
2023-09-09 09:48:34
169阅读
今天是冬至日，广州冷了几天，阴了几天后，又阳光灿烂，气温升到了25°，阳台外，依然绿树成荫，鸟雀声声，冬眠了几天的乌龟也从角落爬出来伸展四肢晒太阳，这应该是去爬山的好日子，而正在学大数据的我，深感路还漫长，继续爬大数据这座山吧！大数据何常不是一朵信息科学之花呢言归正传，今天要学习的是docker的安装使用。为什么学习大数据要学习docker呢，因为我在学校的电脑是32G内存的，开几个虚拟机，构建大
转载
2023-11-11 00:55:27
44阅读
# 连接Hadoop数据库的Java示例
在Java中连接Hadoop数据库，通常使用Hadoop的官方API来实现。Hadoop提供了许多不同的API，比如Hive、HBase、Spark等，我们可以根据具体的需求选择合适的API来连接Hadoop数据库。
## 使用Hive连接Hadoop数据库
Hive是一种数据仓库工具，可以让用户通过SQL查询来分析Hadoop中的数据。下面是一个简
原创
2024-06-15 05:49:23
45阅读
1、安装配置JDK
2、安装Cygwin
参考：https://www.cnblogs.com/feipeng8848/p/8555648.html
3、安装hadoop
https://blog.csdn.net/qq_35535690/article/details/81976032
转载
2021-08-08 17:27:37
547阅读
# Hadoop企业征信大数据分析指南
在当今大数据环境下，企业征信分析变得越来越重要，而使用Hadoop框架进行大数据处理是一个成熟且有效的解决方案。本文将帮助你了解如何使用Hadoop进行企业征信大数据分析，涵盖整个流程以及具体的实现步骤。
## 整体流程
在开始之前，我们首先来看一下整个数据分析的流程。以下是一个简单的流程图，展示了从数据采集到分析报告的整个过程：
| 步骤
MapReduce：自己处理业务相关代码 + 自身的默认代码 文章目录1.MapReduce优缺点2.MapReduce进程3.序列化4 InputFormat数据输入4.1 切片与MapTask并行度决定机制4.2 Job提交流程源码详解4.3 FileInputFormat 切片机制4.4 FileInputFormat4.5 CombineTextInputFormat切片机制5.MapRe
转载
2024-03-20 07:21:26
96阅读
1、Spark中的HashShufle的有哪些不足？ 1）shuffle产生海量的小文件在磁盘上，此时会产生大量耗时的、低效的IO操作； 2）容易导致内存不够用，由于内存需要保存海量的文件操作句柄和临时缓存信息，如果数据处理规模比较大的话，容易出现OOM； 3）容易出现数据倾斜，导致OOM。2、 conslidate是如何优化Hash shuffle时在map端产生的小文件？ 1）conslida
SpringBoot 整合 Hibernate 文章目录SpringBoot 整合 Hibernate1. 配置 SessionFactory2. 配置事务 TransactionConfig3. 排除 Jpa 自动配置4. 应用4.1 添加 department entity 完成`一对多`映射4.2 DepartmentService4.3 DepartmentDao5. 测试 最近和同事一起
转载
2023-09-27 23:37:44
140阅读
Docker安装gitlab1:拉取gitlab镜像docker pull gitlab/gitlab-ce生成挂载目录mkdir -p /usr/local/gitlab/config
mkdir -p /usr/local/gitlab/log
mkdir -p /usr/local/gitlab/data启动命令docker run -itd
-p 443:443 -p 80:80 -p
转载
2023-06-05 20:43:04
334阅读
本文目录写在前面一、什么是Docker虚拟机和容器二、Docker用途三、Docker优势四、Docker的三大核心概念Image (镜像)创建镜像Container (容器)创建并启动Repository (仓库) 写在前面由于假期在做服务外包的竞赛，用到了docker，所以写一篇blog，加深自己的理解。本文参考了诸多文章，是本人对网络上已有内容的总结与体会为了方便以后查看，现将学习相关笔记
转载
2023-09-19 23:23:42
27阅读
环境说明centos 6.81.yum install -y epel-release2.yum install -y docker-io3.启动docker服务service docker start4.docker version验证参考资料 https://www.qingtingip.com/h_251646.html...
原创
2021-07-28 10:27:29
3214阅读
1. 配置依赖环境 yum -y install yum-utils device-mapper-persistent-data lvm2 2. 配置镜像源 yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux ...
转载
2021-09-07 01:36:00
2841阅读
3评论
环境说明centos 6.81.yum install -y epel-release
原创
2022-02-20 10:18:51
1951阅读
Docker是一种轻量级的虚拟化技术，可以帮助开发者更便捷地部署、运行和管理应用程序。在Kubernetes（K8S）这样的容器编排系统中，Docker被广泛应用。在本文中，我将向您介绍如何在Linux系统上安装Docker，以便您能够顺利地在K8S中使用它。
安装Docker的过程可以分为以下几个步骤：
| 步骤 | 操作 |
|-------|----------|
| 1
原创
2024-05-22 10:50:35
160阅读
Centos安装docker（linux安装docker）1、卸载旧版本docker卸载旧版本docker命令yum remove docker \
docker-client \
docker-client-latest \
docker-common \
docker-latest \
docker-latest-logrotate \
dock
yum -y install lrzsz vim wget net-tools bash-completion yum-utils device-mapper-persistent-data lvm2cat /etc/selinux/config sed -i '/SELINUX/s/enforcing/disabled/g' /etc/selinux/configsystemctl stop firewalldsystemctl disable firewalldyum-config-m
原创
2021-07-02 10:01:17
563阅读
