通常我们在编写一个flink的作业的时候，肯定会有依赖的jar包。flink官方希望你将所有的依赖和业务逻辑打成一个fat jar，这样方便提交，因为flink认为你应该对自己的业务逻辑做好单元测试，而不应该把这部分测试工作频繁提交到集群去做。但事实是我们往往不愿意打一个fat jar，我们希望将业务逻辑独立出来，依赖动态提交。可惜的是，flink并不支持这种提交模式。flink官方的文档中提供了
转载
2024-10-24 21:01:42
8阅读
flink作为第三代大数据处理方案,早已成为业内的共识,并且发展迅猛(即将发布的新特性可以查看《Flink1.14新特性抢鲜看~》),而打开这扇大门的第一步是搭建flink的环境,以便我们后续测试和项目实践。无处不在的大数据大数据早已不是什么新鲜事物,比如在国内一线互联网大厂早有应用。比如,我们熟知淘宝的双十一大屏数据,头条的个个性化推荐等应用。但是,在很多二三线城市,中小型公司基本上没有处理大数
转载
2024-03-04 01:37:58
306阅读
正文1、java 环境2、mysql环境3、kafka环境4、flink环境5、dinky环境这些环境，本想直接dnf安装在宿主机上，思来想去，还是用docker方便学习，也方便统一管理和使用1、先更新系统环境的dnf的包sudo dnf update && sudo dnf upgrade2、安装docker2.1、熟悉docker的命令Docker 是一个广泛使用的容器化平台，
转载
2024-09-19 11:01:58
51阅读
文章目录学习内容命令拉取镜像运行容器列出镜像查看镜像、容器、数据卷占用空间虚悬镜像显示中间层镜像根据条件列出镜像只显示镜像id删除本地镜像查看镜像历史定制镜像定制 `nginx` 的例子：docker build的用法镜像上下文Dockerfile 命令RUNCOPY 复制文件ADD 高级复制文件CMD 容器启动命令ENTRYPOINT 入口点使用场景一使用场景二ENV 设置环境变量ARG 参数
转载
2023-07-24 16:25:43
101阅读
flink运行环境使用docker快速搭建测试环境这是官网的快速搭建环境方法，可直接参考flink官网：https://nightlies.apache.org/flink/flink-docs-release-1.15/zh/docs/try-flink/flink-operations-playground/都是中文，很方便。环境linux version CentOS 7
docker 20
转载
2024-04-28 10:58:32
108阅读
参考教程：https://yeasy.gitbook.io/docker_practice/introduction
书籍：《Docker技术入门与实践》Docker 运行容器前需要本地存在对应的镜像，如果本地不存在该镜像，Docker 会从镜像仓库下载该镜像。
本章将介绍更多关于镜像的内容，包括：从仓库获取镜像管理本地主机上的镜像介绍镜像实现的基本原理环境virtual box 6.1cento
转载
2023-06-14 21:43:43
470阅读
参考网站docker中文网：http://www.docker.org.cn/book/docker/docker-push-image-13.html1、搜索容器：
docker search tutorial
注意：镜像都是按照 “用户名/镜像名” 的方式进行存储的
2、下载容器：
docker pull learn/tutorial
3、查看已经下载的镜像信息(均可)：
docker i
转载
2023-07-19 13:43:52
121阅读
Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。处理无界和有界数据 任何类型的数据都可以形成一种事件流。信用卡交易、传感器测量、机器日志、网站或移动应用程序上的用户交互记录，所有这些数据都形成一种流。 数据可以被作为 无界 或者 有界 流来处理。 Apache Flink
转载
2023-12-17 22:02:29
60阅读
# 使用 Docker 部署 Flink 单机模式
Apache Flink 是一款流处理框架，具备高吞吐量和低延迟特性，适合大规模数据处理和实时数据分析。在实际应用中，使用 Docker 来部署 Flink 可以极大简化环境配置和依赖管理。本文将介绍如何使用 Docker 部署 Flink 单机镜像，并提供相关代码示例。
## 环境准备
在开始之前，请确保你的计算机上已安装 Docker。
原创
2024-09-23 04:10:20
81阅读
flink系列文章中，flink版本是1.9.0什么是flink引用官网的一句话：数据流上的有状态计算。优势Flink 提供了 State、Checkpoint、Time、Window 等，它们为 Flink 提供了容错性、实效性等优势。部署方式Local：直接在 IDE 中运行 Flink Job 时则会在本地启动一个 mini Flink 集群。Standalone：在 Flink 目录下执行
转载
2023-12-06 20:52:11
122阅读
# 使用 Docker 构建 Flink 镜像
Apache Flink 是一个强大的开源流处理框架，广泛应用于实时数据处理和分析。在本文中，我们将探讨如何使用 Docker 来构建并部署 Flink 镜像。通过这种方式，我们可以快速地在不同的环境中运行 Flink，确保一致性和简便性。
## 1. 环境准备
在开始构建 Docker 镜像之前，确保已在系统中安装了以下软件：
- Dock
我的环境：OS: ubuntu 12.10android-ndk-r7 ffmpeg: 0.8下面是编译步骤：第一步：安装配置ndk运行ndk-build，如果显示如下信息，则表示安装成功通过设置宏NDK_PROJECT_PATH来指定工程目录export NDK_PROJECT_PATH=/home/robin/Desktop/wshare/jni第二步：下载ffmpeg源码第三步：建立文件夹j
转载
2024-09-27 20:57:09
126阅读
在之前的文章Docker下的Storm中讲了通过Storm来进行实时计算任务，那么这本篇文章中将介绍怎样通过Flink来做实时计算任务。Storm和Flink都是流处理框架，用于处理实时数据流。它们在一些方面有一些异同点。1.Storm和Flink的架构不同。Storm是一个分布式的、实时的、容错的流处理系统，采用了主从架构。它使用了一个中心
转载
2024-06-17 15:43:10
217阅读
# Flink Docker镜像版本的科普
Apache Flink 是一个分布式流处理框架，广泛应用于实时和批处理数据分析。利用 Docker 技术，可以轻松地在容器内运行 Flink。本文将着重介绍如何使用 Flink 的 Docker 镜像版本，以及如何根据自身需求选择合适的版本。
## 什么是 Docker
Docker 是一个开源的容器化平台，它可以将应用程序及其依赖项打包成一个轻
原创
2024-09-11 03:46:10
104阅读
如何实现 Flink Docker 镜像版本
#### 1. 概述
在本文中，我将向你介绍如何实现 Flink Docker 镜像版本。Flink 是一个开源的流处理框架，可以实现低延迟、高吞吐量的数据处理。使用 Docker 镜像可以方便地部署和管理 Flink 应用程序。
#### 2. 实施步骤
下面是实现 Flink Docker 镜像版本的步骤：
| 步骤 | 描述 |
| -
原创
2024-01-28 03:23:36
208阅读
name为镜像仓库名称,严格来说，该name应该由注册服务器地址+镜像仓库名称组成，这样做可以避免不同仓库(注册服务器)下的镜像名称冲突的问 题，如果该注册服务器地址省略，则默认从Docker官方注册服务器(即registry.hub.docker.com)拉取。
转载
2023-07-27 17:36:37
335阅读
一、docker镜像 镜像（docker image） --- Docker 运行容器之前需要本地存在镜像，若本能地不存在，那么 Docker 会找默认镜像仓库（ Docker Hub 公共注册服务器中的仓科）下载，用户也可以通过配置使用自己的镜像库1、下载镜像docker pull NAME:TAG 下载某个被打上了某个标签的叫 ×× 名字 的镜像[root@ren7 ~]# docker
转载
2023-07-28 14:51:44
191阅读
特别声明：博文主要是学习过程中的知识整理，以便之后的查阅回顾。部分内容来源于网络。内容如有差错，也欢迎指正！ 获取镜像获取镜像命令： docker pull [选项] [Docker Registry地址]<仓库名>:<标签> Docker Registry地址：格式一般是<域名/IP>[:端口号]， 默认是Docker Hub 仓库名：&
转载
2023-08-23 15:37:17
63阅读
本节目录：（1）介绍• 父镜像• 基础镜像• 镜像ID（2）获取镜像（3）列出本地镜像（4）创建镜像• 修改已有镜像• 利用 Dockerfile 来创建镜像• 从本地文件系统导入• 上传镜像（5）存出和载入镜像• 存出镜像• 载入镜像（6）移除本地镜像（7）镜像的实现原理1、介绍在 Docker 的术语里，
转载
2024-01-10 13:40:58
95阅读
# 如何使用Docker国内镜像
在使用Docker时，由于网络环境的不同，有时候我们可能会遇到下载镜像过慢的问题。为了解决这个问题，我们可以使用国内镜像来加快下载速度。
## 解决问题的步骤
### 1. 配置Docker国内镜像
首先，我们需要配置Docker使用国内镜像。可以通过修改Docker配置文件来指定国内镜像地址。
在终端中执行以下命令打开Docker配置文件：
```b
原创
2024-05-02 05:03:56
349阅读
