目录一、Table API 和 Flink SQL 是什么二、配置Table依赖（scala）三、两种 planner（old & blink）的区别四、Catalogs1）Catalog概述2）Catalog 类型3）如何创建 Flink 表并将其注册到 Catalog1、下载flink-sql-connector-hive相关版本jar包，放在$FLINK_HOME/lib目录下2、添
转载
2024-05-28 17:02:00
300阅读
文章目录独立模式（Standalone）会话模式部署单作业模式部署应用模式部署Yarn模式相关准备和配置会话模式部署单作业模式部署应用模式部署 本章重点是Flink on Yarn 模式的部署，但在写Yarn 模式部署之前，说一下 独立模式（Standalone）模式独立模式（Standalone）独立模式是独立运行的，不依赖任何外部的资源管理平台；当然独立也是有代价的：如果资源不足，或者出现故
转载
2024-01-03 13:29:59
138阅读
MR，Spark，Flink自开篇第一个程序都是Word Count。那么今天Flink开始目标就是在本地调试出Word Count。所有的语言开篇章都是Hello Word，数据处理引擎也有Hello Word。那就是Word Count。单机安装Flink开始Flink之前先在本机尝试安装一下Flink，当然FLink正常情况下是部署的部署方式。作者比较穷，机器配置太低开不了几个虚拟机。所以只
转载
2024-03-23 09:02:33
48阅读
前言本文使用flink1.14.5版本，介绍standalone-HA模式的安装。此模式时高可用架构，采用zookeeper协调多个JobManager，保持每时每刻有一个运行中的JobManager,其余JobManager处理stand by状态。因为涉及到运行过程中的状态数据的存储，如savepoint,checkoutpoint等。采用minio替换掉hdfs来存储状态。一、资源说明1、f
转载
2024-02-27 11:04:14
399阅读
Flink Standalone Cluster一、部署模式Flink 支持使用多种部署模式来满足不同规模应用的需求，常见的有单机模式，Standalone Cluster 模式，同时 Flink 也支持部署在其他第三方平台上，如 YARN，Mesos，Docker，Kubernetes 等。以下主要介绍其单机模式和 Standalone Cluster 模式的部署。二、单机模式单机模式是一种开箱
转载
2024-06-12 17:53:31
503阅读
准备工作本文简述Flink在Linux中安装步骤，和示例程序的运行。需要安装JDK1.8及以上版本。下载地址：下载Flink的二进制包 点进去后，选择如下链接： 解压flink-1.10.1-bin-scala_2.12.tgz，我这里解压到soft目录[root@hadoop1 softpackage]# tar -zxvf flink-1.10.1-bin-scala_2.12.tgz -C
转载
2024-06-03 20:48:15
412阅读
# Docker 单机模式运行 Flink
Apache Flink 是一个开源的流处理框架，适用于大规模数据处理。虽然 Flink 通常在分布式环境中运行，但我们可以使用 Docker 在单机模式下轻松进行开发和测试。本文将带您了解如何在 Docker 中运行 Flink，并提供相关的代码示例和配置说明。
## 环境准备
在开始之前，请确保您的计算机上安装了 Docker。您可以通过以下命
原创
2024-10-17 11:56:35
307阅读
# 用Docker在单机上安装Flink
在本文中，我们将介绍如何使用Docker在单机上安装Apache Flink。Apache Flink是一个开源的流处理框架，可以用于实时数据处理和分析。
## 1. 准备工作
在开始之前，确保您已经安装了Docker。如果没有安装，请根据您的操作系统安装Docker。您还需要一个文本编辑器来编辑配置文件。
## 2. 下载Flink镜像
首先，
原创
2024-04-03 05:04:09
97阅读
# 使用 Docker 安装单机 Flink 的指南
## 引言
Apache Flink 是一个强大的开源流处理框架，广泛用于批处理和实时数据处理。使用 Docker 安装 Flink 不仅可以简化安装过程，同时也能提高开发环境的一致性。本文将逐步引导你通过 Docker 安装单机 Flink。
## 流程概述
下面是安装单机 Flink 的流程步骤：
| 步骤 | 说明
原创
2024-09-14 06:30:16
99阅读
一、背景公司CDH6.3.2里面的版本是Flink1.12.0。而因为FlinkCDC2.0.0只支持Flink1.13.0以后，版本不匹配，所以只能升级版本。但是升级版本是个大工程，要编译、要parcel制作工具，而且是生产环境的升级，没办法因为要测试FlinkCDC，所以只能搭建个单机测试，等后面生产环境升级后再迁移；二、软件安装 2.1 安装Hadoop单节点 具体的就不介绍了。。。。。 可
转载
2024-03-19 10:06:04
112阅读
Flink支持多种安装模式- Local—本地单机模式，学习测试时使用- Standalone—独立集群模式，Flink自带集群，开发测试环境使用- StandaloneHA—独立集群高可用模式，Flink自带集群，开发测试环境使用- On Yarn—计算资源统一由Hadoop YARN管理，生产环境使用1、Local本地模式1.1 原理Flink程序由JobClient进行提交Job
spark单机安装部署1.安装scala1.下载：wget https://downloads.lightbend.com/scala/2.11.12/scala-2.11.12.tgz 2.解压：tar -zxvf scala-2.11.12.tgz -C /usr/local 3.重命名：mv scala-2.10.5/ scala 4.配置到环境变量：export SCALA_HOME=/u
转载
2023-11-27 09:01:08
237阅读
包含sparksql的完整使用案例，请务必耐心看完 专题：大数据单机学习环境搭建和使用1.Spark安装2.Spark配置2.1配置环境变量2.2spark客户端3.Spark使用3.1环境准备3.2脚本说明3.3服务开启3.4脚本执行 大数据单机学习环境搭建(9)Spark单节点安装与pyspark使用1.Spark安装apache官网下载spark个人下载的资源分享# 解压安装，我的位置都在/
转载
2023-12-03 14:30:26
133阅读
# Flink on YARN部署单机模式指南
Apache Flink 是一个强大的分布式计算框架，通常用于大规模数据处理。本文旨在教导新入行的开发者如何在单机模式下部署 Flink，利用 YARN 作为资源管理器。
## 流程概述
下面是部署 Flink on YARN 的流程，每个步骤将详细解释实施的方法和代码。
| 步骤 | 描述 |
| ---- | ---- |
| 1 | 安
cocos2dx 制作单机麻将(六)当项目做到这时, 会发现项目结构不是太美. 如果接着按照这样面向结构的方式写的话, 就会非常的乱. 这章我们来讨论如何用面向对象的方式写麻将.标准的麻将(联网的) 会分为服务器模块, 客户端模块, 逻辑模块. 服务器模块必须由逻辑模块支持, 客户端模块很少用到逻辑模块,大多是从服务器发来的判断结果,必要时还是会用到逻辑模块. 因为逻辑模块需要共用, 所以里面都是
目录简介flink 架构图flink 核心概念数据传输的策略Operator ChainFlink四层图结构Flink之数据源常见 transform 操作state机制State类型state 分类图谱：State backend 状态存储也就是这些状态数据后端是怎么存储，以及使用啥存储的StateBackend配置方式checkpoint(容错)checkpoint配置恢复数据(容错)
Hadoop安装方式 Hadoop的安装方式有三种，分别是单机模式，伪分布式模式，伪分布式模式，分布式模式。 单机模式：Hadoop默认模式为非分布式模式（本地模式），无需进行其他配置即可运行。非分布式即单Java进程，方便进行调试。 伪分布式模式：Hadoop可以在单节点上以伪分布式的方式运行，Hadoop进程以分离的Java进程来运行，节点既作为NameNode也作为DataNode，同
转载
2023-06-30 14:35:38
121阅读
flink部署前置准备：1.CentOS7.52.java83.配置三台机器时间同步和免密登陆，关闭防火墙ip地址主机名192.168.10.128master192.168.10.129slave1192.168.10.130Slave2下载链接：https://flink.apache.org/zh/downloads.html#section-7这里我选择的是1.13.0：https://a
转载
2023-12-10 09:13:21
97阅读
Hadoop有三种模式 单机模式、伪分布模式和完全分布模式
这里先简单介绍单机模式 ，默认情况下，Hadoop被配置成一个非分布式模式，独立运行JAVA进程，适合开始做调试工作。
Hadoop 网址http://hadoop.apache.org/ OSC地址 http://www.oschina.net/p/hadoo
转载
精选
2012-12-11 13:59:24
600阅读
# Docker单机模式安装Hadoop：小白必读指南
在本教程中，我们将一步一步学习如何在单机模式下安装Hadoop。对于刚入行的小白来说，理解整个安装过程和每一步的细节非常重要。下面我们将用表格展示安装的步骤，并解释每一步需要做的事情。
## 安装步骤概览
| 步骤 | 描述 |
|------|---------------
原创
2024-09-11 07:17:14
6阅读
