之前一直在上面写博客，思虑了很久，终于还是忍不住想自己搭建一个博客。想过使用 wordpress，需要找一个免费的主机确实又是个麻烦事。所以静态博客会是个好的选择。自己了解到的静态博客有 jekyll 和 octopress、hexo，jekyll 和 octopress 是基于 ruby 开发的，说实话又要来学一门新语言，我是不太愿意的。hexo 是基于 nodejs 的，而 nodejs 又号
转载
2024-09-06 06:48:09
22阅读
在这篇博文中，我将详细记录如何通过Docker来搭建Hadoop。Hadoop是一个重要的开源框架，用于分布式存储和处理大数据。在使用Docker搭建Hadoop时，采用容器化技术，可以有效简化环境配置，提升部署效率。下面是我的搭建过程。
## 环境准备
在搭建Hadoop之前，首先需要确保环境的准备工作完成。以下是一些前置依赖的安装步骤。
```bash
# 更新软件包索引
sudo ap
# Hadoop与MySQL对比
## 引言
在大数据时代，数据处理和存储是非常重要的任务。Hadoop和MySQL是两个非常常见的工具，用于处理和存储数据。本文将对Hadoop和MySQL进行全面的对比，包括其概述、架构、数据处理和性能等方面。
## 概述
### Hadoop
Hadoop是一个开源的分布式计算框架，用于处理大规模数据集。它基于Google的MapReduce和分布式
原创
2023-09-09 09:48:34
169阅读
# 使用 Docker 部署 Hadoop 集群的好处
在大数据时代，Hadoop 作为一个开源的大数据处理框架，因其强大的分布式计算能力被广泛应用。但是，搭建和管理 Hadoop 集群常常需要复杂的环境配置和维护工作。借助 Docker 技术，我们可以大大简化 Hadoop 集群的部署过程，提升运维效率。本文将探讨使用 Docker 部署 Hadoop 集群的好处，并通过具体代码示例来进行说明
# 连接Hadoop数据库的Java示例
在Java中连接Hadoop数据库，通常使用Hadoop的官方API来实现。Hadoop提供了许多不同的API，比如Hive、HBase、Spark等，我们可以根据具体的需求选择合适的API来连接Hadoop数据库。
## 使用Hive连接Hadoop数据库
Hive是一种数据仓库工具，可以让用户通过SQL查询来分析Hadoop中的数据。下面是一个简
原创
2024-06-15 05:49:23
45阅读
# Hadoop企业征信大数据分析指南
在当今大数据环境下，企业征信分析变得越来越重要，而使用Hadoop框架进行大数据处理是一个成熟且有效的解决方案。本文将帮助你了解如何使用Hadoop进行企业征信大数据分析，涵盖整个流程以及具体的实现步骤。
## 整体流程
在开始之前，我们首先来看一下整个数据分析的流程。以下是一个简单的流程图，展示了从数据采集到分析报告的整个过程：
| 步骤
1、安装配置JDK
2、安装Cygwin
参考：https://www.cnblogs.com/feipeng8848/p/8555648.html
3、安装hadoop
https://blog.csdn.net/qq_35535690/article/details/81976032
转载
2021-08-08 17:27:37
547阅读
1、Spark中的HashShufle的有哪些不足？ 1）shuffle产生海量的小文件在磁盘上，此时会产生大量耗时的、低效的IO操作； 2）容易导致内存不够用，由于内存需要保存海量的文件操作句柄和临时缓存信息，如果数据处理规模比较大的话，容易出现OOM； 3）容易出现数据倾斜，导致OOM。2、 conslidate是如何优化Hash shuffle时在map端产生的小文件？ 1）conslida
MapReduce：自己处理业务相关代码 + 自身的默认代码 文章目录1.MapReduce优缺点2.MapReduce进程3.序列化4 InputFormat数据输入4.1 切片与MapTask并行度决定机制4.2 Job提交流程源码详解4.3 FileInputFormat 切片机制4.4 FileInputFormat4.5 CombineTextInputFormat切片机制5.MapRe
转载
2024-03-20 07:21:26
96阅读
1.哈希取余分区 2亿条记录就是2亿个k,v，我们单机不行必须要分布式多机，假设有3台机器构成一个集群，用户每次读写操作都是根据公式： hash(key) % N个机器台数，计算出哈希值，用来决定数据映射到哪一个节点上。1.1优点：简单粗暴，直接有效，只需要预估好数据规划好节点，例如3台、8台、10台，就能保证一段时间的数据支撑。使用Hash算法让固定的一部分请求落到同一台服务器上，这样每台服务器
转载
2023-10-20 20:01:20
86阅读
今天是冬至日，广州冷了几天，阴了几天后，又阳光灿烂，气温升到了25°，阳台外，依然绿树成荫，鸟雀声声，冬眠了几天的乌龟也从角落爬出来伸展四肢晒太阳，这应该是去爬山的好日子，而正在学大数据的我，深感路还漫长，继续爬大数据这座山吧！大数据何常不是一朵信息科学之花呢言归正传，今天要学习的是docker的安装使用。为什么学习大数据要学习docker呢，因为我在学校的电脑是32G内存的，开几个虚拟机，构建大
转载
2023-11-11 00:55:27
44阅读
SpringBoot 整合 Hibernate 文章目录SpringBoot 整合 Hibernate1. 配置 SessionFactory2. 配置事务 TransactionConfig3. 排除 Jpa 自动配置4. 应用4.1 添加 department entity 完成`一对多`映射4.2 DepartmentService4.3 DepartmentDao5. 测试 最近和同事一起
转载
2023-09-27 23:37:44
140阅读
Linux是一个开源的操作系统，它提供了各种不同的发行版，其中最著名的之一就是红帽Linux（Red Hat Linux）。安装Linux操作系统可能对一些人来说有些困难，但只要遵循正确的步骤，就能够顺利完成安装。
首先，要安装Linux操作系统，你需要准备一台合适的计算机。Linux可以在各种不同的硬件平台上运行，所以只要你的计算机符合最低系统需求，就可以安装Linux。硬件方面你需要至少4G
原创
2024-02-05 12:05:26
377阅读
一、安装syslogyum install -y rsyslog.x86_64二、配置linux的日志服务器，（服务端 192.168.126.154，接收）： 服务端主要做的是配置监听端口，决定采用TCP还是UDP方式。本例采用UDP修改配置文件中SYSLOGD_OPTIONS=“-c 5” 添加“ -r选项”即可，目的可以让服务器能够接受客户端传来的数据-r表示允许接收外来的消息，-x表示不解
转载
2023-10-26 17:09:33
222阅读
一、OpenCV简要介绍 OpenCV是一个跨平台的计算机视觉库，可以运行在Windows、Linux、MacOS等操作系统上。OpenCV提供了众多语言的接口，其中就包含了Python，Python是一门上手容易、使用起来十分让人愉悦的语言，利用Python学习OpenCV，相信能获得不错的效果。 二、从官网上下载源码或安装包 OpenCV的官方下载网址是http://opencv
转载
2023-10-16 22:13:09
109阅读
所需要的软件：软件地址
虚拟光驱下载一、安装虚拟机 1、找到以下软件： 2、以管理员身份运行此安装软件 3、开始安装 点击下一步 勾选“我接受许可协议中的条款”，再点击下一步 点击下一步 把两个选项去掉，点击下一步 点击下一步 点击安装 点击许可证 输入“5A02H-AU243-TZJ49-GTC7K-3C61N”，再点击输入 点击完成 在桌面上找到这个图标 ，双击点击“创建新的虚拟机”
转载
2024-04-01 17:25:23
58阅读
Linux安装和管理程序一. Linux应用程序基础1. 应用程序与系统命令的关系2. 典型的应用程序结构3. 常见软件包封装类型二. RPM软件包管理工具1. RPM包管理工具2. RPM命令的格式3. 查询RPM软件包信息3.1. 查询已安装的RPM软件信息3.2. 查询未安装的RPM软件包文件中的信息4. 安装、升级、卸载RPM软件包4.1. 安装或升级RPM软件4.2. 卸载指定的RPM
转载
2024-08-12 16:01:33
63阅读
Linux 上安装软件的几种方法Linux 上安装软件的方法有很多种，下面介绍对几种最常用的方法进行总结。1. 源码安装1.1 方法一（1）下载源码并解压（2）在源码文件夹中，建立build文件夹，用 CMake 进行编译，然后安装mkdir build
cd build
cmake ..
sudo make install（3）卸载方法cd build
sudo make uninstall1.
转载
2024-04-07 22:18:38
212阅读
目录一：linux环境安装openssl库：二：编译安装到/home/aston/huawei/openssl-1.1.1d/install_lib文件夹：三：测试openssl加密功能：四：移植openssl到到ARM：五：修改linux系统的链接库路径环境变量： LD_LIBRARY_PATH方法一：方法二：六：查看openssl版本： 一：linux环境安装openssl库：1.OpenS
转载
2023-12-25 18:54:12
495阅读
文章目录环境搭建1 . 从VMware官网或者其他手段下载VMware Workstation2. 从Ubuntu官网或者其他手段下载LINUX系统的镜像文件.iso3.安装WinSCP文件交互器4.将vivado移到ubuntu上5. 安装vivadolinux上运行vivado 环境搭建1 . 从VMware官网或者其他手段下载VMware Workstation2. 从Ubuntu官网或者
转载
2024-03-23 11:25:56
134阅读
