一. Flink的引入 这几年大数据的飞速发展，出现了很多热门的开源社区，其中著名的有 Hadoop、Storm，以及后来的 Spark，他们都有着各自专注的应用场景。Spark 掀开了内存计算的先河，也以内存为赌注，赢得了内存计算的飞速发展。Spark 的火热或多或少的掩盖了其他分布式计算的系
转载
2024-05-16 23:09:39
20阅读
第1章 简介在前面的文章中把离线计算的整套流程和框架基本介绍了一遍，接下来的章节章我们将开始介绍实时计算的框架和使用，重点以Flink为例，Apache Flink是一个分布式数据处理引擎，用于无限流数据和有限流数据进行有状态的流计算。由于笔者编写文章之前 Flink-1.11.0 刚发布不久，所以笔者后续所有的文章都是以 Flink-1.11.0 为例。本章主要介绍Flink实操：单机
转载
2023-09-26 14:02:01
196阅读
LightGBM算法梳理1.LightGBM2.LightGBM的起源XGBoost与LightGBM对比3.Histogram VS pre-sorted4.leaf-wise VS level-wise5.特征并行和数据并行6.顺序访问梯度7.支持类别特征8.sklearn参数 1.LightGBMLightGBM是个快速的，分布式的，高性能的基于决策树算法的梯度提升框架. 可用于排序，分类
转载
2024-08-04 15:55:18
41阅读
# Flink与Hadoop集群部署指南
Apache Flink是一个强大的流处理框架，广泛用于大数据环境中实时数据分析。而Hadoop则提供了存储和处理大量数据的基础设施。因此，将Flink与Hadoop结合进行集群部署，可以极大地提升数据处理能力和效率。本文将介绍如何在Hadoop集群上部署Flink，并提供相应的代码示例。
## 部署准备
在开始部署之前，您需要准备以下环境：
1.
原创
2024-09-24 03:34:39
162阅读
自 Flink 1.9 起，BucketingSink 已经被弃用，并将在后续版本中移除。请使用 StreamingFileSink。这个连接器提供了一个接收器，可以将分区的文件写到Hadoop文件系统支持的任何文件系统中。要使用此连接器，请在项目中添加以下依赖项：<dependency>
<groupId>org.apache.flink</groupId>
转载
2024-10-12 10:58:26
77阅读
之前安装Hadoop是用VMWare创建虚拟机，然后安装伪分布式，因为虚拟机太慢，太卡，实在没有玩下去的心情了，现在想到Docker可以实现虚拟化，看看能不能安装Hadoop,网上查了查，果然可以，并且博客还不少，但都是有些小问题，并且过程不详细，没有问题解决的答案，在我踩了好多坑后，现在记录一下我在基于Docker的Hadoop完全分布式安装时的过程和遇到的问题，希望能帮到后来的童鞋．首先，Do
转载
2024-10-12 12:17:31
83阅读
Flink 部署、运行架构1. Flink 部署2. 运行架构四大组件Job ManagerTask ManagerResource ManagerDispatcher作业提交流程任务调度原理Slot 和 任务调度并行度TaskManager 和 SlotSlot 和并行度的关系程序结构和数据流图执行图（ExecutionGraph）数据传输形式任务链（Operator Chains） 1. F
转载
2023-12-28 16:37:27
42阅读
文章目录1、local模式2、standalone cluster部署3、standalone cluster HA部署 版本介绍： centos 7.7 jdk 1.8.152 hadoop 2.7.1 zookeeper 3.4.10 flink 1.9.1 1、local模式flink的local模式运行在单个jvm中。同时local方便快速测试。安装方式：需求：Java 1.
转载
2024-05-18 13:55:38
98阅读
# Linux 集群部署 Hadoop 和 Flink
在现代大数据处理和分析的环境中，Hadoop 和 Flink 是两款非常流行的框架。Hadoop 提供了分布式存储和处理能力，而 Apache Flink 则用于实时流数据处理。在 Linux 集群上部署这两个框架可以帮助我们高效地处理海量数据。本文将简要介绍如何在 Linux 集群上部署 Hadoop 和 Flink，并提供示例代码。
Apache Flink 是什么？Flink是一个基于流计算的分布式引擎，以前的名字叫stratosphere，从2010年开始在德国一所大学里发起，也是有好几年的历史了，2014年来借鉴了社区其它一些项目的理念，快速发展并且进入了Apache顶级孵化器，后来更名为Flink。Flink在德语中是快速和灵敏的意思，用来体现流式数据处理速度快和灵活性强等特点。 Flink提供了同时支持高吞
转载
2023-09-20 16:31:59
103阅读
## Flink on YARN部署Hadoop的流程
### 1. 检查Hadoop集群是否已部署
在开始部署Flink on YARN之前，首先需要确保Hadoop集群已正确部署，包括配置好HDFS和YARN。
以下是部署Flink on YARN的流程：
| 步骤 | 描述 |
| --- | --- |
| 步骤 1 | 检查Hadoop集群是否已部署 |
| 步骤 2 | 下载并
原创
2023-11-09 04:29:11
161阅读
Flink 可以从各种来源获取数据，然后构建 DataStream 进行转换处理。一般将数据的输入来源称为数据源，而读取数据的算子就是源算子（Source）。所以，Source 就是我们整个处理程序的输入端。Flink 代码中通用的添加 Source 的方式，是调用执行环境的 addSource()方法：//通过调用 addSource()方法可以获取 DataStream 对象
val stre
转载
2023-09-15 23:21:48
74阅读
目录一、Flink 部署1.1 快速启动一个集群1.1.1 环境配置1.1.2 集群启动1.1.3 向集群提交作业1.2、部署模式1.2.1 会话模式1.2.2 单作业模式（Per-Job Mode）1.2.3 应用模式（Application Mode） 1.3、独立模式（Standalone）1.3.1 会话模式部署1.3.2 单作业模式部署1.3.3
转载
2023-08-02 11:20:21
169阅读
在 Flink 这个框架中，有很多独有的概念，比如分布式缓存、重启策略、并行度等，这些概念是我们在进行任务开发和调优时必须了解的，这一课时我将会从原理和应用场景分别介绍这些概念。分布式缓存熟悉 Hadoop 的你应该知道，分布式缓存最初的思想诞生于 Hadoop 框架，Hadoop 会将一些数据或者文件缓存在 HDFS 上，在分布式环境中让所有的计算节点调用同一个配置文件。在 Flink 中，Fl
转载
2023-08-03 18:57:41
139阅读
部署方式分类1.Local 本地部署 2. Standalone 使用Flink自带的资源调度平台进行任务的部署 3. Standalone-HA高可用的部署方式 4. Yarn 部署1. Local 本地部署应用场景：开发环境部署步骤：设置 JDK运行环境配置 SSH 免密登录下载并解压缩 Flink-1.13.1 到 /export/server修改配置文件 jobmanager.rpc.ad
转载
2023-08-22 14:17:51
408阅读
Flink中Checkpoint是使Flink 能从故障恢复的一种内部机制。检查点是 Flink 应用状态的一个一致性副本，在发生故障时，Flink 通过从检查点加载应用程序状态来恢复。核心思想：是在 input source 端插入 barrier，控制 barrier 的同步 (分界线对齐）来实现 snapshot 的备份 和 exactly-once 语义。1. checkpoint执行过程
转载
2023-10-03 20:55:28
326阅读
# Flink安装部署在Hadoop环境上
Apache Flink是一个用于大规模数据处理的开源流处理框架。它具有低延迟、高吞吐量、支持事件时间处理等特性，广泛应用于实时数据分析等场景。在Hadoop环境中部署Flink，可以利用Hadoop的分布式计算能力以及HDFS的存储功能。本文将详细介绍如何在Hadoop环境上安装和部署Flink，并给出相关代码示例和状态图。
## 一、环境准备
原创
2024-09-30 03:37:09
416阅读
目录1. 设计要求2. 操作步骤2.1 新建tomcat的Dockerfile，创建新镜像jforum/tomcat，用新镜像创建容器，配置2.2 新建mysql的Dockerfile，创建新镜像jforum/mysql, 用新镜像创建容器，配置2.3 重启tomcat容器，在浏览器端访问jforum网页3. 补充知识点【写在前面】在前文中通过命令逐步实现过该操作, 这里在学了Dockerfile
转载
2024-06-17 21:42:37
76阅读
大家都知道hadoop包含很多的组件，虽然很多都是下载后解压简单配置下就可以用的，但是还是耐不住我是一个懒癌晚期患者，最重要的是，没有页面，不够酷炫啊，不酷炫怎么装X？so，apache官方也是很体谅我们这些装X达人，并且提供了一个十分简单的安装hadoop的工具，叫做ambari，官方出品必属精品，那么我们就拿来用吧。 ambari可以让你快速部署一套hadoop环境，不论你是要测试练
转载
2024-04-30 23:12:45
40阅读
# Flink CDC 需要部署 Hadoop 环境吗？
Flink CDC (Change Data Capture) 是一种用于捕捉和处理数据变化的技术，广泛应用于数据流处理和实时分析。许多初学者在实现 Flink CDC 时会疑惑是否需要部署 Hadoop 环境。本文将通过详细的步骤引导你理解 Flink CDC 的实现过程，并明确是否需要 Hadoop 环境。
## 实现流程
以下是
原创
2024-10-16 04:41:51
120阅读
