环境准备安装Docker及相关镜像Docker下载链接 由于穷买不起mac，所以挂的windows的链接，可自行去Docker官网下载其他版本。 安装过程省略，毕竟一路下一步的东西，下面开始安装并启动kafka、mysql等服务。安装zookeeper服务因为kafka需要将许多信息固化存储在zk上，所以我们首先得安装zookeeper服务执行docker run -d --name zookee
转载
2024-02-13 12:15:49
111阅读
## 使用Docker搭建Flink单节点集群
在大数据领域，Flink是一个流处理框架，它提供了高性能、低延迟的数据处理能力。在实际应用中，我们常常需要搭建一个Flink集群来处理大规模的数据。本文将介绍如何使用Docker来搭建一个Flink单节点集群。
### Docker简介
Docker是一个轻量级的容器化技术，通过Docker，我们可以将应用程序及其依赖项打包到一个容器中，并在任
原创
2024-03-03 04:22:45
177阅读
# 如何使用Docker部署单节点Flink
## 一、整体流程
下面是部署单节点Flink的整体流程：
```mermaid
flowchart TD
A(准备环境) --> B(获取Flink镜像)
B --> C(创建Flink容器)
C --> D(启动Flink容器)
```
## 二、具体步骤
### 1. 准备环境
在开始之前，确保你已经安装了Do
原创
2024-06-25 03:28:02
247阅读
# 使用 Docker Compose 搭建 Flink 单节点集群
Apache Flink 是一个开源的大数据处理引擎，主要用于分布式流处理和批处理。对于初学者来说，最简单的方式是使用 Docker 和 Docker Compose 快速搭建一个单节点的 Flink 集群。本文将介绍如何使用 Docker Compose 在本地机器上搭建一个单节点 Flink 集群，附带代码示例，并配有一个
原创
2024-09-12 07:14:30
229阅读
一、手动下载安装包wget http://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.6.1/flink-1.6.1-bin-hadoop27-scala_2.11.tgz二、解压tar -zxvf flink-1.6.1-bin-hadoop27-scala_2.11.tgz 节点名称 masterworker
转载
2023-12-22 23:43:22
154阅读
理解k8s架构两类角色：master节点和worker节点。master用于调度和管理集群资源，worker节点是资源的提供者。worker节点提供的资源单位叫pod，可以理解为k8s云平台提供的虚拟机，pod中存放的是应用容器，比如docker容器。容器是cpu和内存的资源隔离单位，大部分情况下一个pod中只住一个应用容器，也有一个主容器多个辅助容器的情况，一个pod内的容器共享网络栈和存储资源
转载
2023-10-25 06:52:44
43阅读
1、Flink Local模式部署Ⅰ、依赖环境： linux机器 jdk1.8及以上【配置JAVA_HOME环境变量】Ⅱ、下载地址 https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.6.1/flink-1.6.1-bin-hadoop27-scala_2.11.tgzⅢ、local模式快速安装启动 (1)解压：tar -zx
转载
2024-06-10 01:47:10
69阅读
KeyedProcessFunction 方法：是一个基于 KeyedStream 流处理方法，可以灵活的对每个输入 KeyedStream 进行逻辑处理，并支持定时器时间事件示例环境java.version: 1.8.x
flink.version: 1.11.1示例数据源 （项目码云下载）Flink 系例 之 搭建开发环境与数据KeyedProcess.javaimport com.
前提软件前提Flink 运行在所有类 unix 环境上，例如 Linux、Mac OS X 和 Cygwin(适用于Windows)，并期望集群由一个主节点和一个或多个工作节点组成。在开始安装系统前，请先在每个节点安装以下软件：Java1.8或更高版本ssh在所有集群节点上使用 ssh 免密登录和相同的目录结构将使用脚本控制一切。JAVA_HOME配置Flink 要求在主节点和所有工作节点上设置
转载
2024-03-25 06:00:59
33阅读
# 实现Docker容器项目单节点改集群
## 整体流程
首先，我们需要将单节点的Docker容器项目改造成多节点集群，以提高项目的可靠性和性能。下面是整个过程的步骤：
| 步骤 | 操作 |
| ---- | ---- |
| 1 | 准备多台服务器作为集群节点 |
| 2 | 在每台服务器上安装Docker |
| 3 | 创建Docker Swarm集群 |
| 4 | 将项目容器部署
原创
2024-02-26 05:24:49
143阅读
定义：socket是抽象出来的一个通过TCP/IP协议进行的网络连接的两端，本质应该是进程间的通信（分为本地和网络进程），通常具有三个参数（协议号，本地IP ，本地端口）；理解：socket可以类比成固话通信两端的两台终端，要建立连接之前需要拨号，而拨号就需要知道对方的号码，建立连接后通过电波通信交换数据，挂机则断开连接；连接过程：服务器监听，客户端发送请求，连接确认；实际上的函数级的连接过程为：
# Elasticsearch Docker单节点Compose配置
随着大数据和现代应用的快速发展，Elasticsearch作为一个强大的搜索和分析引擎，得到了越来越多的应用。在开发和测试环境中，使用Docker来部署Elasticsearch可以简化环境的搭建和管理。本文将介绍如何通过Docker Compose在单节点上配置Elasticsearch，并提供相应的代码示例和流程图。
#
docker内部容器自动重启配置。
原创
2019-11-21 10:45:54
5895阅读
点赞
言于头: (背景)在面对系统业务功能及数据流的繁杂多变但前端而比较规律情况下，许多企业公司开始采用自动编码工具以减少前端编码投入的资源，集中力量处理业务。偶然机会发现公司的业务团队采用flink处理数据(应该是table相关)效率极高，所以今天小弟也来玩玩尝尝鲜。1 下载Flink下载地址：https://www.apache.org/dyn/closer.lua/flink/flink-1.11
转载
2024-07-24 12:53:16
115阅读
# Flink on YARN 单节点部署
## 介绍
Apache Flink是一个开源的流处理框架，它提供了高效、可扩展、容错的流处理引擎。在大数据领域，Flink已经成为了一个非常受欢迎的解决方案。在部署Flink时，我们可以选择使用YARN作为集群管理器，这样可以更好地利用集群资源。
本文将介绍如何在单节点上部署Flink集群，并使用YARN作为集群管理器。
## 准备工作
在开
原创
2024-01-03 10:58:57
107阅读
对于Unix系列的操作系统，大多都有v节点。但是对于linux来说，只有通用的i节点，却没有v节点。下面来探讨一下，linux下的i节点。 linux中，文件查找不是通过文件名称来查找的。实际上是通过i节点来实现文件的查找定位的。我们可以形象的将i节点看做是一个指针fip。当文件存储到磁盘上去的时候，文件肯定会存放到一个磁盘位
写在前面常说:“工欲善其事必先利其器”,这话想想也是一点毛病也没有,在开始学习任何技术之前,我们总得有一个实际可供操作的实验环境.有人说,“看十遍不如用一遍”,我想大概就是这个道理.废话不多说,直接开始.实验环境CentOs7.2
JDK1.8及其以上
node-v8.10.0-linux-x64(安装Head插件,版本>V8)
elasticsearch-6.1.3
kibana-6.1.
转载
2024-06-11 17:55:18
134阅读
nodejs遵循的是单线程单进程的模式它是基于事件驱动、异步非阻塞模式的。Node的单线程是指JS的引擎只有一个实例，且在nodejs的主线程中执行，同时node以事件驱动的方式处理IO等异步操作。Node的单线程模式，只维持一个主线程，大大减少了线程间切换的开销，但是会有多个worker线程，用于执行异步操作。Node的单线程使得在主线程不能进行CPU密集型操作，否则会阻塞主线程。对于CPU密集
转载
2024-04-08 21:59:25
56阅读
| Cluster | 配置集群名称 | | Node | 配置当前节点信息（节点名称默认主机名） | | Paths | 指定数据和日志保存路径 | | Memory | 内存使用相关配置 | | Network | 网络相关配置（主机ip，端口等） | | Discovery | 集群相关参数配置 | | BEGIN SECURITY AUTO CONFIGURATION | ES8.0默认使
转载
2024-07-19 07:45:47
167阅读
搜索镜像： docker search centos 下载镜像： docker pull centos 查看镜像： docker images 启动容器： docker run -tid -p 3000:80 --name nginx3 nginx:latest -i 交互式操作-t 终端-d 后台运行-p 设置映射的端口号--name 容
转载
2023-06-08 15:14:43
306阅读
