了解了Flink的基本原理和运行框架,本节我们尝试搭建Flink开发环境,由于Flink从1.10版本开始,在Windows系统上存在运行问题,且Flink官方也将各种Windows版本的Flink工具脚本从开发包中删除,因此本文主要基于Mac(Linux)操作系统搭建Flink开发环境。

主要步骤包括:

  • 下载 && 安装JDK 1.8
  • 下载 && 安装Maven
  • 下载 && 安装Flink
  • 下载 && 安装IntelliJ IDEA

针对以上三个步骤,下面将详细展开,已经具备的开发者可以直接跳过。

1. 下载 && 安装JDK 1.8

(1)登录Orace官网,下载JDK安装包,选择.dmg后缀的mac标准安装包,开始下载。

idea flink docker 开发环境 flink运行环境_maven


(2)下载完成后,在本地找到jdk-18_macos-x64_bin.dmg文件,双击打开,完成安装。

(3)打开终端,输入java -version,验证安装完成后的jdk版本

idea flink docker 开发环境 flink运行环境_flink_02


2. 下载 && 安装Maven

Maven主要用于Java项目的生命周期管理,主要涉及到编译、测试、构建等环节,因此需要本地先部署Maven环境,具体步骤如下:

(1)登录Maven中央仓库,下载我们需要的Maven版本,这里我们选择的是3.6.0版本。

idea flink docker 开发环境 flink运行环境_大数据_03


(2)下载完成,解压缩apache-maven-3.6.0-bin.tar.gz文件,得到apache-maven-3.6.0文件夹,将其放到合适的位置,vim打开~/.bashrc配置maven环境变量,例如我的配置如下:


export MAVEN_HOME="/Users/windy/Package/apache-maven-3.6.0"
export PATH="$PATH:$MAVEN_HOME/bin"


(3)终端运行mvn --version,验证maven版本

idea flink docker 开发环境 flink运行环境_Java_04


3. 下载 && 安装Flink

(1)登录Flink官网,直接选择最新版本,这里我们直接选择带Scala后缀的1.15.0版本。

idea flink docker 开发环境 flink运行环境_maven_05


idea flink docker 开发环境 flink运行环境_flink_06


(2)下载完成,本地解压缩flink-1.15.0-bin-scala.2.12.tgz文件,解压缩得到flink-1.15.0文件夹,将其放到合适的位置,vim打开~/.bashrc,配置Flink环境变量,例如笔者的配置如下:


export FLINK_HOME="/Users/windy/Package/flink-1.15.0"
export PATH="$PATH:$MAVEN_HOME/bin:$FLINK_HOME/bin"


(3) 终端运行flink -v,验证flink版本

idea flink docker 开发环境 flink运行环境_flink_07


4. 下载 && 安装IntelliJ IDEA

由于Flink底层是基于Java语言实现,推荐大家开发Flink应用程序也优先使用Java,适配性上可能比其他几种开发语言(Scala/Python)更有优势,Java开发IDE首选IntelliJ IDEA。

(1)登录JetBrains官网,下载IntelliJ IDEA Commuity版本即可。

idea flink docker 开发环境 flink运行环境_flink_08


(2)下载完成,本地找到ideaIC-2022.1.3.dmg文件,双击安装,等待安装完成即可。

至此,我们基本完成了Flink开发环境的搭建。