一来因为最近在学习架构相关的知识，学的挺久的了，但是缺乏动手实操，所以想自己搞一个简单的小demo玩一下，顺便巩固一下最近所学的知识点；二来有幸参与了一个项目从0到1的一个搭建过程，其中有一些架构与实现有着自己的一些不一样的想法，所以也想在这个demo中实现一下。所以就搞了这么一个基础架构系列的分类，准备详细记录一下自己在这一整个过程中遇到的各种问题和解决思路，欢迎大伙给予各种意见和建议。微服务的
转载
2023-06-19 02:23:08
188阅读
## Spring Boot集成Hadoop
### 概述
本文将教你如何在Spring Boot应用程序中集成Hadoop。首先，我们会介绍整个过程的步骤，并使用表格展示这些步骤。然后，我们会详细说明每个步骤所需的代码，并对代码进行注释。
### 步骤
下面是整个集成过程的步骤：
| 步骤 | 描述 |
| ---- | ---- |
| 步骤1 | 引入Hadoop依赖 |
| 步骤
原创
2023-10-17 06:21:50
382阅读
Hadoop是一个分布式的文件系统（HDFS），由很多服务器联合起来实现其功能，集群中的服务器有各自的角色，用于存储文件通过目录树来定位文件。 HDFS集群包括，NameNode、DataNode、Secondary Namenode： （1）NameNode：负责管理整个文件系统的元数据，以及每一个路径（文件）所对应的数据块信息。 （2）DataNode：负责管理用户的文件数据块，每一个数据块都
转载
2023-09-24 19:25:33
1644阅读
# Spring Boot 集成 Hadoop 插件指南
在当前的大数据时代，Hadoop 已成为存储和处理海量数据的重要框架。将 Spring Boot 和 Hadoop 集成可以使我们更轻松地构建大数据应用。本文将带你一步一步地实现这一过程。
## 整体流程
以下是 Spring Boot 集成 Hadoop 的步骤：
| 步骤序号 | 步骤描述
原创
2024-09-05 04:57:56
181阅读
# Spring Boot项目集成Hadoop指南
在这篇文章中，我们将讨论如何将Spring Boot项目与Hadoop进行集成。本文将通过分步骤讲解每一个流程，确保即使是新手也能顺利实现集成。
## 流程概述
以下是将Spring Boot项目与Hadoop集成的主要步骤：
| 步骤 | 描述 |
| ---- | ---- |
| 1 | 创建Spring Boot项目 |
|
企业硬件设备较多，不利于快速发现设备故障及能源消耗异常。依托于hadoop、hbase搭建大数据分析平台，采用Springboot开发框架搭建一套完善的企业能源监控检测数据分析可视化平台。本次毕设程序基于前后端分离开发模式，搭建企业设备监控，数据管理汇总，大屏分析可视化于一体的企业能源检测系统，实现设备异常状态的及时发现预警，减少故障反应时间。一、程序设计本次能源损耗监控分析平台系统主要内容涉及：
转载
2023-10-17 10:45:56
111阅读
前言最近网站要接入facebook以及google两种第三方登录。查阅了很多的资料，终于算是勉强将facebook登录接入到了我们自己的项目中，这里记录整个facebook接入的整个流程和遇到的坑，方便日后自己查阅！本篇文章只讲facebbok登录【暂无源码，有空了写个demo补上】开发环境电脑： Windows 10 项目技术： Spring boot + oauth2 + security J
转载
2024-06-05 14:25:30
131阅读
# Spring Boot集成Hadoop遍历目录
## 引言
在本文中，我将向你介绍如何使用Spring Boot集成Hadoop并实现遍历目录的功能。首先，我将展示整个流程，然后逐步指导你完成每一步所需的操作和代码。本文的目标是帮助你理解并成功实现该功能。
## 流程概述
下面是整个流程的概览，你可以通过这个表格来了解每个步骤的含义。
```mermaid
flowchart TD
原创
2024-01-11 06:51:26
49阅读
序言 最近公司一个汽车项目想用hbase做存储，然后就有了这篇文字，来，来，来， 带你一起征服hbase,并推荐一本书《hbase权威指南》 这是一本极好的hbase入门书籍，我花了一个晚上看完觉得这书蛮好的! 本文分上下两篇，上篇是hbase+hadoop+hdfs+zookeeper集群环境的安装，下篇讲解hbase如何集成spring来使用。hbase是
注：本文是对 https://www.bilibili.com/video/BV1CU4y1N7Sh 的实践。环境CentOS 7.7JDK 8Hadoop 3.3.0准备VMWare的网络设置：略。准备好3台虚拟机，其IP地址分别为 192.168.88.151 、 192.168.88.152 、 192.168.88.153 ，其 hostname 分别为 host1 、 host2 、 h
Spring Boot 集成 Hadoop 应用场景
在现代大数据应用中，Spring Boot与Hadoop的集成日益受到关注。通过合理的集成设计，可以充分发挥Hadoop的强大数据处理能力，同时借助Spring Boot的简便性和灵活性，实现高效的应用开发。接下来，详细阐述如何成功实现Spring Boot与Hadoop的集成。
## 环境准备
在集成Spring Boot与Hadoop
1.列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系，以图呈现并加以文字描述。 1，HDFS（hadoop分布式文件系统）是hadoop体系中数据存储管理的基础。他是一个高度容错的系统，能检测和应对硬件故障。client：切分文件，访问HDFS，与namenode交互，获取文件位置信息，与DataNode交互，读取和写入数据。namenode：master节点，在had
转载
2024-05-18 16:57:18
93阅读
第1章 简介1.1 概要介绍Flink on Yarn的HA高可用模式，首先依赖于Yarn自身的高可用机制（ResourceManager高可用），并通过Yarn对JobManager进行管理，当JobManager失效时，Yarn将重新启动JobManager。其次Flink Job在恢复时，需要依赖Checkpoint进行恢复，而Checkpoint的快照依赖于远端的存储：HDFS，所以HDF
转载
2023-07-13 16:48:25
191阅读
个人觉得文章写的简单明了，转载保存一下。Hadoop，Spark、Flink是目前重要的三大分布式计算系统·Hadoop用于离线复杂大数据处理·Spark 用于离线快速的大数据处理·Flink 用于在线实时的大数据处理。一、为什么需要分布式计算系统？ 当前大数据的数据量已达PB级别（1PB=1024TB），可以说是庞大无比。同时数据还有结构化（如数字、符号等）、非结构化（如文本、图像、声音、视频
转载
2023-07-24 15:03:24
97阅读
文章目录环境配置集群启动下载并解压安装包向集群提交作业在 Web UI 上提交作业命令行提交 这里需要提到 Flink 中的几个关键组件：客户端（Client）、作业管理器（JobManager）和任务管理器（TaskManager）。我们的代码，实际上是由客户端获取并做转换，之后提交给JobManger 的。所以 JobManager 就是 Flink 集群里的“管事人”，对作业进行中央调度管
转载
2023-07-24 15:03:15
159阅读
1评论
hadoop-flink完全分布式集群搭建一、Local模式二、Standalone 模式1、软件要求2、解压3、修改配置文件4、拷贝到各节点5、配置环境变量6、启动flink7、启动HA 本次采用的系统为centos7 hadoop版本为2.7.7 flink版本为1.10.2 链接：https://pan.baidu.com/s/1E4Gm5Rla-f4mZ5XB7wvlyg 提取码：qwe
转载
2023-07-24 15:03:01
127阅读
IP、主机名规划 hadoop集群规划：hostnameIPhadoop备注hadoop1110.185.225.158NameNode,ResourceManager,DFSZKFailoverController,JournalNode hadoop2110.185.225.166NameNode,ResourceManager,DataNode,NodeMan
转载
2023-07-13 14:20:19
102阅读
文章目录一. 下载Flink安装包并解压二. 修改配置2.1 用户环境变量2.2 flink-conf.yaml2.3 配置${FLINK_HOME}/conf/masters文件2.4 配置${FLINK_HOME}/conf/workers文件2.5 将flink目录传到其它节点三. flink Standalone部署模式3.1 启动flink Standalone3.2 测试运行Flin
转载
2023-07-13 16:47:59
34阅读
服务器环境：hadoop2.7.3集群、zookeper3.4.10集群、hbase1.2.5集群 测试环境：windows10、spring tool suite(STS)一、测试前准备1、由于是在windows连接Hbase，而hbase是依赖于hadoop的，所以我们需要下载hadoop的二进制包，这里我仅提供2.7.3版本的。下载地址：百度网盘-链接不存在 提取码：v
转载
2023-10-10 14:13:27
57阅读
# 如何实现“hadoop springboot”
## 一、整体流程
```mermaid
flowchart TD
A(了解需求) --> B(安装Hadoop)
B --> C(编写SpringBoot应用)
C --> D(连接Hadoop)
D --> E(实现功能)
```
## 二、详细步骤
### 1. 了解需求
在开始之前，首先要明确具体
原创
2024-04-29 05:27:08
30阅读
