Flink简介Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。事件驱动及微批处理事件驱动以事件本身为触发点触发计算等动作，和Spark Streaming可以做鲜明对比，Spark Streaming就不是事件驱动，是微批应用。在Spark Streaming的观念中，流是
转载
2024-04-23 05:37:00
109阅读
Flink 开发环境部署和配置Flink 是一个以 Java 及 Scala 作为开发语言的开源大数据项目，代码开源在 github 上，并使用 maven 来编译和构建项目。对于大部分开发或使用 Flink 的同学来说，Java、Maven 和 Git 这三 个工具是必不可少的，因此首先需要把这三个工具进行安装和配置。另外，一个强大的 IDE 有助于我们更快的阅读代码、开发新功能以及修复 bug
转载
2024-02-28 12:31:44
76阅读
第13讲：如何实现生产环境中的 Flink 高可用配置我们在第 06 课时“Flink 集群安装部署和 HA 配置”中讲解了 Flink 的几种常见部署模式，并且简单地介绍了 HA 配置。概述事实上，集群的高可用（High Availablility，以下简称 HA）配置是大数据领域经典的一个问题。通常 HA 用来描述一个系统经过专门的设计，从而减少停工时间，而保持其服务的高度可用性。我们在第 0
1.新建maven工程 2.在pom文件中添加： Spring-boot-starter-parent:可以使用spring boot框架 Spring-boot-starter-web:可以开发web项目 3.按照左图创建包，添加启动类TestMyBatis.java,代码如右图所示 4.运行spring boot Mybatis环境搭建 1.在pom文件中添加依赖 mysql：可以使用Mysq
转载
2024-03-19 15:29:14
35阅读
目录： maven环境搭建 IDEAL环境搭建 flink开发环境搭建 Go To End maven环境搭建 maven 下载：https://maven.apache.org/download.cgi ，你也可以使用wget + url 下载。 命令：wget http://mirrors.ad
原创
2022-05-31 10:19:16
1654阅读
文章目录01 引言02 Local本地单机模式2.1 工作原理2.2 安装部署2.3 测试验证
原创
2022-03-25 14:38:28
1705阅读
文章目录概述第一部分：Flink框架概述01-Flink概述之官方定义02-Flink概述之流式计算思想03-Flink概述之应用场景第二部分：04-安装部署之Flink Cluster架构05-安装部署之本地集群06-安装部署之Standalone集群07-安装部署之Standalone HA08-Flink on YARN之运行流程09-Flink on YARN之安装部署10-Flink
转载
2024-07-03 21:38:53
354阅读
1）Global Window 和 Key Windows 在运用窗口计算时，Flink根据上游数据集是否为 KeyStream 类型，对应的 Windows 也会有所不同。※ Keyed Window：上游数据集如果是 KeyedStream 类型，则调用 DataStream API的 window() 方法，数据会根据 Key 在不同的 Task 实例中并行分别计算，最后得出针对每个 Ke
转载
2024-04-24 14:02:28
50阅读
flink有几种安装模式，前期学习其功能，装个的Standalone集群模式。后期用yarn平台管理（vmware上的装了3台centos）1.下载flink安装包传入自己安装的目录 包下载https://archive.apache.org/dist/flink/ 开启三台虚拟机，上传包在自己安装 ...
转载
2021-10-30 20:44:00
477阅读
2评论
Flink High-Availability
原创
2022-08-26 14:19:50
167阅读
创建Flink程序，随便找个文件夹执行下面的maven命令mvn archetype:generate -DarchetypeGroupId=org.apache.flink -DarchetypeArtifactId=flink-quickstart-java -DarchetypeVersion=1.7.0服务器上安装Flink容器 先去官网下载好flink，然后拖拽到XShell中，执行解压
原创
2022-07-08 17:52:02
125阅读
**Flink 开发环境搭建**
作为一名经验丰富的开发者，我将帮助你实现 Flink 开发环境的搭建。在本文中，我将向你展示如何一步步地搭建 Flink 开发环境。首先，让我们来看一下整个流程：
| 步骤 | 操作 |
| ---- | ---- |
| 1 | 下载和安装 Apache Flink |
| 2 | 配置 Flink |
| 3 | 创建 Flink 项目 |
| 4 | 编
原创
2024-04-23 20:15:14
57阅读
背景：虽然之前在win10上成功编译了flink-1.9.2以运行在cdh6.3.0环境中：参考一：从源码编译Apache Flink快速部署和测试(包含指定Hadoop及Cloudera Hadoop、Blink)参考二：flink 1.9 编译但为了体验在1.9.x的基础上修复了的基于 Flink SQL 构建流式应用，现进行“win10上编译flink1.10.0以运行在cdh6.3.0环境
转载
2024-10-09 17:18:28
182阅读
搭建单机版环境一 安装环境搭建一个单机版的运行环境环境：Ubuntu 18下载不带Hadoop组件的Flink程序包这里按下载最新：
原创
2022-10-21 16:14:03
835阅读
一、为什么有了flink的安装攻略还要再专门写1.12.0版本的安装博客上次我发布了flink 1.7.2的安装方法，但是有同学反馈1.7已经比较老版本了，2020年12月10最新发布的Flink1.12.0版本，我就再写了一篇新版本的安装部署！Flink1.12.0可以称得上是一个里程碑版本，由近 300 位开发者参与贡献者，提交了超过 1000 多个修复或优化。这些修改极大地提高了 Flink
在上一章节中：Flink实战：02.保存项目为archetype模板 ，给大家分享了如何制作一个本地的项目模板，这一节内容我将分享如何如何部署一个 nexus 私仓，并把这个本地 archetype 模板发布到仓库中，以方便团队其他人使用。nexus 是目前一个比较流行的仓储管理软件，很多公司往往使用它来部署自己公司内部项目的私有仓库，nexus 支持的包管理的系统相当丰富：Bower
Doc
转载
2024-10-24 19:38:18
67阅读
前言本文主要面向于初次接触 Flink、或者对 Flink 有了解但是没有实际操作过的同学。希望帮助大家更顺利地上手使用 Flink，并着手相关开发调试工作。课程内容包括：Flink 开发环境的部署和配置运行 Flink 应用（包括：单机 Standalone 模式、多机 Standalone 模式和 Yarn 集群模式）一、Flink 开发环境部署和配置Flink 是一个以 Java 及 Sca
转载
2024-03-15 12:19:47
1257阅读
1、内容 数据库访问：mybatis + mybatis-plus Druid数据源 mybatis-plus 代码生成器 统一返回 R 类 接口文档：swagger 数据库：MySQL NoSql：Redis 2、整合Druid 数据源 1、导入pom依赖 <dependency> <groupI ...
转载
2021-09-29 23:03:00
10000+阅读
2评论
背景计划将之前部署好的flink1.10升级到1.11.2。 主要流程及踩坑1.从官方下载flink1.11.2的压缩包，选择与业务程序中导入的maven依赖scala版本一致即可（本人选用的是2.11）。flink压缩包官方下载链接 2.修改对应的配置文件（yarn模式下只需配置 flink-conf.yaml， 如果是使用flink自己的资源调度则简单配置mast
转载
2024-08-26 19:46:09
59阅读
1一、前言在大数据时代，金融科技公司通常借助消费数据来综合评估用户的信用和还款能力。这个过程中，某些中介机构会搜集大量的号并进行“养号”工作，即在一年周期里让这些号形成正常的消费、通讯记录，目的是将这些号“培养”得非常健康，然后卖给有欺诈意向的用户。这类用户通过网上信息提交审核，骗到贷款后就“销声匿迹”了。那么，如何更快速地预防或甄别可能的欺诈行为？如何从超大规模、高并发、多维度的数据中实现在线实
转载
2024-07-19 14:22:34
32阅读
