为期两个月开发的 Apache Flink 1.6.0 于昨天（2018-08-09）正式发布了。Flink 社区艰难地解决了 360 个 issues，到这里查看完整版的 changelog 。Flink 1.6.0 是 1.x.y 版本系列上的第七个版本，1.x.y 中所有使用 @Public 标注的 API 都是兼容的。此版本继续使 Flink 用户能够无缝地运行快速数据处理并轻松构建数据驱
转载
2024-09-02 22:59:57
67阅读
1、请看：，此处只是配置系统的：硬件配置以及操作系统、节点需要安装的工具、安装JDK环境、创建hadoop用户、建立ssh无密码登录本机前五部分，第6部分的hadoop安装在此博文中需要重新配置，所以不需要查看，在此处博文中需要添加一个master1的namenode节点要结合前五部分一起配置。2、下载zookeeper:https://zookeeper.apache.org/releases.
转载
2023-11-22 19:58:04
40阅读
# MPP与Hadoop的整合
## 什么是MPP与Hadoop？
在现代数据处理架构中，MPP（Massively Parallel Processing）和Hadoop都是关键技术。MPP是一种大规模并行处理的计算架构，适用于处理大规模数据集。Hadoop则是一个开源框架，以分布式存储和计算为核心，允许处理海量数据。将MPP和Hadoop整合，能够更高效地处理和分析大数据，提升数据分析的性
原创
2024-08-16 03:43:22
52阅读
# Spring Boot与Hadoop整合
## 1. 介绍
Hadoop是一个用于分布式存储和处理大数据的开源框架，而Spring Boot是一个用于快速构建应用程序的开发框架。本文将介绍如何将Spring Boot与Hadoop整合，以便在Spring Boot应用程序中使用Hadoop的功能。
## 2. Hadoop配置
首先，需要在Spring Boot项目中添加Hadoop的
原创
2024-04-30 07:37:34
433阅读
# Hadoop与SSM整合
在大数据时代，Hadoop作为一种分布式计算框架，被广泛应用于数据处理和分析。而SSM（Spring+SpringMVC+MyBatis）则是一种常用的Java开发框架，用于构建Web应用程序。本文将介绍如何将Hadoop与SSM整合，实现在Web应用中对Hadoop集群的调用和数据处理。
## 1. 搭建Hadoop集群
首先，需要搭建一个Hadoop集群，用
原创
2023-07-21 05:59:41
133阅读
# Spring Boot 整合 Flink CDC 监听 MySQL 的实现指南
在近年来的数据流处理技术中，Apache Flink 和 Spring Boot 的结合越来越受到开发者的青睐。本文将详细阐述如何使用 Spring Boot 整合 Flink CDC（Change Data Capture）来监听 MySQL 数据库的变更。通过这篇文章，你将学习到整个流程、代码实现以及所有必要
原创
2024-09-08 06:45:47
243阅读
由于最近需要使用Spring boot整合Hadoop的HDFS，但是在整合的过程遇到了很多问题，网上也没有现成教程，都是自己摸索出来的，配置了很久都没能把项目搭建出来，希望对大家有帮助。使用Spring boot整合HDFS主要是为了从数据库获取List，将List数据生产CSV文件，导入到HDFS进行机器学习。本文主要讲解如何整合成功和如果将List数据变成CSV文件存进HDFS当中。简单整理
转载
2023-10-09 08:13:44
247阅读
1. Hadoop 简介2. MapReduce3. HDFS 4. 数据采集、存储、计算5. RPC6. 序列化7. Spark 1. Hadoop 简介目前主流的大数据框架大数据框架能处理传统计算技术所无法处理的大型数据集。它不是单一的技术或工具，而是涉及的业务和技术的许多领域。目前主流的三大分布式计算系统分别为 Hadoop、Spark 和 Strom：Had
转载
2023-07-03 20:54:47
136阅读
# 绕开 Flink CDC 和 Hadoop 的数据处理方案
## 引言
随着大数据技术的快速发展，许多企业都在寻求高效的数据处理方案。Flink CDC 和 Hadoop 是目前常用的数据处理工具，但在某些场景中，使用这些工具可能会面临性能瓶颈、复杂性高等问题。本文将探讨一种替代方案，通过使用 Kafka 和 Spark Streaming 来实现流式数据处理，并提供一个完整的项目实施方案
原创
2024-09-10 06:48:12
59阅读
目录1、前言2、readTextFile（已过时，不推荐使用）3、readFile（已过时，不推荐使用）4、fromSource(FileSource) 推荐使用1、前言思考: 读取文件时可以设置哪些规则呢？ 1. 文件的格式(txt、csv、二进制...)
转载
2024-09-29 16:03:32
48阅读
1、pom.xml添加依赖<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http:
转载
2023-06-07 19:20:56
113阅读
文章目录什么是CDCFlink CDC2.X 相较于 1.X的变化 什么是CDCCDC，Change Data Capture 变更数据捕获目前CDC有两种实现方式，一种是主动查询、一种是事件接收。主动查询： 相关开源产品有Sqoop、Kafka JDBC Source等。 用户通常会在数据原表中的某个字段中，保存上次更新的时间戳或版本号等信息，然后下游通过不断的查询和上次的记录做对比，来确定数
转载
2023-10-14 22:28:36
527阅读
环境 springboot 2.7.6 + flink13.1说明: 主要是想单独运行多个flink 项目, 小项目, 数据量少,充分使用 状态后端运行 java -jar xxx.jar 1: 创建springboot项目: (pom 见下面)实例1: /***************************
*&
转载
2022-07-20 19:29:00
636阅读
用hbase做数据库,但因为hbase没有类sql查询方式,所以操作和计算数据很不方便,于是整合hive,让hive支撑在hbase数据库层面 的 hql查询.hive也即 做数据仓库1. 基于Hadoop+Hive架构对海量数据进行查询：http://blog.csdn.net/kunshan_s...
转载
2016-01-02 09:03:00
189阅读
用hbase做数据库,但因为hbase没有类sql查询方式,所以操作和计算数据很不方便,于是整合hive,让hive支撑在hbase数据库层面 的 hql查询.hive也即 做数据仓库1. 基于Hadoop+Hive架构对海量数据进行查询2. HBase 0.90.5 + Hadoop 1.0.0 集成本文的目的是要讲述怎样让Hbase和Hive能互相訪问，让Hadoop/Hbase/Hive协同
转载
2015-02-19 10:27:00
246阅读
2评论
# 使用flinkcdc实现集群——不依赖Hadoop
## 介绍
Apache Flink 是一个流式计算引擎，可以处理大规模的数据流。Flink 提供了一种称为 FlinkCDC 的功能，可以用于实时捕获和处理变更数据。在本文中，我们将介绍如何使用 FlinkCDC 来构建一个集群，而不需要依赖 Hadoop。我们将展示如何配置和运行 FlinkCDC，以及如何编写代码来处理变更数据。
原创
2024-05-26 04:57:06
154阅读
已经更新100+篇~关注公众号~大数据成神之路目录大数据开发基础篇?Java基础?NIO?并发?JVM?分布式?Zookeeper?RPC?Netty?Linux大数据框架学习篇大数据开发实战进阶篇TODO第一部分: 大数据开发基础篇一、Java基础二、NIO基础三、Java并发容器四、JVM深度解析和面试点先来10篇基础热身再来5篇详细解说五、分布式理论基础和原理六、大数据框架开发基础-Zook
前言Oozie是什么呢？按官方说法：Oozie是一个基于工作流引擎的服务器，其中每个工作流的任务可以是Hadoop的Map/Reduce作业或者Pig作业等。Oozie是运行于Java servlet容器上的一个java web应用。Oozie的目的是按照DAG（有向无环图）调度一系列的Map/Reduce或者Pig任务。Oozie 工作流由hPDL（Hadoop Process Definiti
转载
2023-09-20 10:40:02
52阅读
目录 添加依赖与配置Actuator监控项Actuator监控管理打开或关闭端口与地址Actuator是Springboot提供的用来对应用系统进行自省和监控的功能模块，借助于Actuator开发者可以很方便地对应用系统某些监控指标进行查看、统计等。本文将通过示例来对如何在Springboot中使用Actuator监控做一个简单介绍添加依赖与配置在Springboot中使用Actuator监控非常
转载
2023-09-22 19:06:07
132阅读
目录Elasticsearch集成Spring Data框架集成 Spring Data框架介绍Spring Data Elasticsearch介绍Spring Data Elasticsearch版本对比框架集成Spark Streaming框架集成Spark Streaming框架介绍框架集成Flink框架集成Flink框架介绍框架集成Elasticsearch集成Spring D
转载
2024-06-25 21:26:02
24阅读
