一、建站的基本思路和大致流程(先了解nginx + gunicorn + supervisor + flask) 基本思路如下图： 二、准备动手之前的准备工作准备动手之前，你肯定在网上搜索了一大堆的资料，这里要明确几个点，操作系统：CentOS （如果你看到文章里教你用apt-get，那么你就得慎重了，那篇文章应该是基于ubantu的，CentOS
1 什么是FlinkXFlinkX是在是袋鼠云内部广泛使用的基于flink的分布式离线数据同步框架，实现了多种异构数据源之间高效的数据迁移。不同的数据源头被抽象成不同的Reader插件，不同的数据目标被抽象成不同的Writer插件。理论上，FlinkX框架可以支持任意数据源类型的数据同步工作。作为一套生态系统，每接入一套新数据源该新加入的数据源即可实现和现有的数据源互通。 2 工作原理
转载
2024-08-20 17:40:12
115阅读
文章目录Flink高手之路2-Flink集群的搭建一、Flink的安装模式1.本地local模式2.独立集群模式standalone3.高可用的独立集群模式standalone HA4.基于yarn模式Flink on yarn二、基础环境三、Flink的local模式安装1. 下载安装包2. 上传服务器3.解压4. 配置环境变量5. 使环境变量起作用6.测试显示版本7.测试scala shel
转载
2024-01-22 13:42:49
712阅读
Flink 开发环境部署和配置Flink 是一个以 Java 及 Scala 作为开发语言的开源大数据项目，代码开源在 github 上，并使用 maven 来编译和构建项目。对于大部分开发或使用 Flink 的同学来说，Java、Maven 和 Git 这三 个工具是必不可少的，因此首先需要把这三个工具进行安装和配置。另外，一个强大的 IDE 有助于我们更快的阅读代码、开发新功能以及修复 bug
转载
2024-02-28 12:31:44
76阅读
Flink官网地址我只想踏踏实实的学技术，用技术。那就从官网开始，翻阅着官网，一页一页翻译，一页一页的进步。 映入眼帘的第一句话是对Flink的整体性概括:Apache Flink— Stateful Computations over Data Streams在数据流上有状态的计算。Data Streams数据流，关键点是Stateful Computations，Flink如何设计Statef
转载
2023-12-21 12:22:07
30阅读
Window也即窗口，是Flink流处理的特性之一。前一篇文章我们谈到了Winodw的相关概念及其实现。窗口的目的是将无界的流转换为有界的元素集合，但这还不是最终的目的，最终的目的是在这有限的集合上apply(应用)某种函数，这就是我们本篇要谈的主题——WindowFunction（窗口函数）。那么窗口函数会在什么时候被应用呢？还记得上篇文章我们谈到了触发器Trigger，在触发器触发后会返回Tr
转载
2024-04-09 14:38:45
40阅读
本文为《Flink大数据项目实战》学习笔记，想通过视频系统学习Flink这个最火爆的大数据计算框架的同学，推荐学习课程： Flink大数据项目实战：http://t.cn/EJtKhaz1. 创建Flink项目及依赖管理1.1创建Flink项目官网创建Flink项目有两种方式：https://ci.apache.org/projects/flink/flink-docs-release-
转载
2024-05-24 19:30:26
163阅读
Flink一、代码实现二、代码讲解 一、代码实现package com.geekbang.bigdata.hotitems_analysis
import org.apache.flink.streaming.api.scala.{DataStream, StreamExecutionEnvironment,_}
import org.apache.flink.api.java.utils.P
转载
2023-09-04 17:31:11
93阅读
Lighttpd (发音为lighty) 是一个德国人领导的开源软件，以BSD许可证发行。其根本的目的是提供一个专门针对高性能网站，安全、快速、兼容性好并且灵活的Web Server环境。具有非常低的内存开销，CPU占用率低，效能好，以及丰富的模块等特点。lighttpd是众多OpenSource轻量级的web server中较为优秀的一个。支持FastCGI, CGI, Auth, 输出压缩(o
#一、CentOS安装 1.查看是否安装vsftpd rpm -qa | grep vsftpd2.安装服务器 yum -y install vsftpd3.启动FTP服务service vsftpd start4.将FTP服务加入自动启动systemctl enable vsftpd5.查看ftp状态 service vsftpd status（ps:未装yum请自行安装）#二、建立本地虚拟用户
转载
2024-05-22 11:57:42
112阅读
# Flink Java 环境搭建指南
Apache Flink 是一个开源的流处理框架，用于实现大规模数据流处理和事件驱动应用。本文将介绍如何在 Java 环境中搭建 Flink，包括安装、配置和简单的代码示例。
## 安装 Flink
首先，你需要从 [Apache Flink 官网]( 下载 Flink 的预编译包。选择适合你操作系统的版本，解压到一个目录。
## 配置环境变量
将
原创
2024-07-29 07:19:22
23阅读
1 flink下载2.上传安装包3 解压4 修改配置文件4.1 配置slaves4.2 修改配置文件flink-conf.yaml5 传送安装包到集群
原创
2023-05-24 10:21:11
271阅读
# 如何使用Docker搭建Flink
作为一名经验丰富的开发者，我将向你介绍如何使用Docker搭建Flink。首先，让我们来看看整个流程：
| 步骤 | 操作 |
| ---- | ---- |
| 1 | 下载Flink Docker镜像 |
| 2 | 启动Flink容器 |
| 3 | 访问Flink Web界面 |
接下来，我将详细介绍每一步需要做什么，以及每一步需要使用的代码。
原创
2024-04-30 04:15:52
76阅读
## 如何搭建 Docker Flink
### 整体流程
首先，我们需要明确整个搭建过程的步骤，可以用下表展示：
| 步骤 | 操作 |
|------|------|
| 1 | 下载并安装 Docker |
| 2 | 创建 Flink 镜像 |
| 3 | 运行 Flink 镜像 |
| 4 | 访问 Flink Web 界面 |
### 操作指引
#### 步骤1：下载并安装
原创
2024-03-24 03:26:09
75阅读
在上一章节中：Flink实战：02.保存项目为archetype模板 ，给大家分享了如何制作一个本地的项目模板，这一节内容我将分享如何如何部署一个 nexus 私仓，并把这个本地 archetype 模板发布到仓库中，以方便团队其他人使用。nexus 是目前一个比较流行的仓储管理软件，很多公司往往使用它来部署自己公司内部项目的私有仓库，nexus 支持的包管理的系统相当丰富：Bower Dock
一.IDEA开发环境1.pom文件设置 <properties>
<maven.compiler.source>1.8</maven.compiler.source>
<maven.compiler.target>1.8</maven.compiler.target>
<enc
转载
2024-04-23 14:39:10
138阅读
Apache Flink的Runtime核心机制剖析Flink是可以运行在多种环境下的（yarn，k8s，云环境,),它可以单进程和多线程方式启动，便于我们调式代码Flink Runtime 整体架构 针对不同的执行环境，Flink提供了统一的分布式作业引擎，就是Flink Runtime这层， Flink在Runtime上提供了DataSetAPI(Gelly,Table,FlinkML) 和
转载
2024-02-14 09:52:43
37阅读
文章目录概述第一部分：Flink框架概述01-Flink概述之官方定义02-Flink概述之流式计算思想03-Flink概述之应用场景第二部分：04-安装部署之Flink Cluster架构05-安装部署之本地集群06-安装部署之Standalone集群07-安装部署之Standalone HA08-Flink on YARN之运行流程09-Flink on YARN之安装部署10-Flink
转载
2024-07-03 21:38:53
351阅读
1）Global Window 和 Key Windows 在运用窗口计算时，Flink根据上游数据集是否为 KeyStream 类型，对应的 Windows 也会有所不同。※ Keyed Window：上游数据集如果是 KeyedStream 类型，则调用 DataStream API的 window() 方法，数据会根据 Key 在不同的 Task 实例中并行分别计算，最后得出针对每个 Ke
转载
2024-04-24 14:02:28
50阅读
Flink 运行时的组件介绍Flink 运行时架构主要包括四个不同的组件，它们会在运行流处理应用程序时协同工作（因为 Flink 是用 Java 和 Scala 实现的，所以所有组件都会运行在 Java 虚拟机上）一、作业管理器 （JobManager）JobManager控制一个应用程序执行的主进程叫JobMaster，提交的每一个应用程序都会被一个不同的 JobMaster 所控制执行。 Jo
转载
2024-03-01 15:43:54
48阅读
