目录一、Table API 和 Flink SQL 是什么二、配置Table依赖（scala）三、两种 planner（old & blink）的区别四、Catalogs1）Catalog概述2）Catalog 类型3）如何创建 Flink 表并将其注册到 Catalog1、下载flink-sql-connector-hive相关版本jar包，放在$FLINK_HOME/lib目录下2、添
转载
2024-05-28 17:02:00
300阅读
单机模式部署下载wget http://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.9.1/flink-1.9.1-bin-scala_2.11.tgz解压tar -zxvf flink-1.9.1-bin-scala_2.12.tgz -C /usr/app不需要进行任何配置，直接使用以下命令就可以启动单机版本的 Flink：bin/st
转载
2024-03-04 13:52:37
876阅读
# Hadoop 单机安装与配置指南
Hadoop 是一个开源的分布式计算框架，广泛应用于大数据的存储和处理。本文将指导初学者如何在单机环境下安装和配置 Hadoop。以下是整个安装和配置过程的简单流程：
## 流程
| 步骤 | 描述 |
|------|------|
| 1 | 下载 Java 和 Hadoop |
| 2 | 安装 Java |
| 3 | 解压 H
原创
2024-08-26 05:57:13
70阅读
# 使用 Docker 安装单机 Flink 的指南
## 引言
Apache Flink 是一个强大的开源流处理框架，广泛用于批处理和实时数据处理。使用 Docker 安装 Flink 不仅可以简化安装过程，同时也能提高开发环境的一致性。本文将逐步引导你通过 Docker 安装单机 Flink。
## 流程概述
下面是安装单机 Flink 的流程步骤：
| 步骤 | 说明
原创
2024-09-14 06:30:16
99阅读
# 用Docker在单机上安装Flink
在本文中，我们将介绍如何使用Docker在单机上安装Apache Flink。Apache Flink是一个开源的流处理框架，可以用于实时数据处理和分析。
## 1. 准备工作
在开始之前，确保您已经安装了Docker。如果没有安装，请根据您的操作系统安装Docker。您还需要一个文本编辑器来编辑配置文件。
## 2. 下载Flink镜像
首先，
原创
2024-04-03 05:04:09
97阅读
文章目录独立模式（Standalone）会话模式部署单作业模式部署应用模式部署Yarn模式相关准备和配置会话模式部署单作业模式部署应用模式部署 本章重点是Flink on Yarn 模式的部署，但在写Yarn 模式部署之前，说一下 独立模式（Standalone）模式独立模式（Standalone）独立模式是独立运行的，不依赖任何外部的资源管理平台；当然独立也是有代价的：如果资源不足，或者出现故
转载
2024-01-03 13:29:59
138阅读
http://ixdba.blog.51cto.com/2895551/554029但是在我阅读这篇文章的时候，发现大大很有抄袭的嫌疑，因为直接复制导致后面的表2丢失。一、安装前得准备操作系统：同意采用CentOS4.4地址规划： LVS DR模式安装的部署图： &nbs
# Hadoop单机的安装与配置
Hadoop是一个开源的分布式计算框架，广泛应用于大数据处理。为了便于开发和测试，许多开发者选择在单机环境下进行Hadoop的安装和配置。本文将介绍如何在单机模式下安装和配置Hadoop，并提供相应的代码示例。
## 一、Hadoop的安装步骤
### 1. 环境准备
在安装Hadoop之前，需要确保Java已经安装并配置正确。可以使用以下命令检查Java
原创
2024-09-02 05:59:16
29阅读
cocos2dx 制作单机麻将(六)当项目做到这时, 会发现项目结构不是太美. 如果接着按照这样面向结构的方式写的话, 就会非常的乱. 这章我们来讨论如何用面向对象的方式写麻将.标准的麻将(联网的) 会分为服务器模块, 客户端模块, 逻辑模块. 服务器模块必须由逻辑模块支持, 客户端模块很少用到逻辑模块,大多是从服务器发来的判断结果,必要时还是会用到逻辑模块. 因为逻辑模块需要共用, 所以里面都是
网络上关于如何单机模式安装Hadoop的文章很多，按照其步骤走下来多数都失败，按照其操作弯路走过了不少但终究还是把问题都解决了，所以顺便自己详细记录下完整的安装过程。此篇主要介绍在Ubuntu安装完毕后，如何进行Hadoop的安装和配置。我所记录的笔记适合没有Linux基础的朋友跟我一起操作，同时欢迎高手参观指导。 环境约定以下环境基于攥写时间：5th July 2015。宿
转载
2023-08-25 19:05:04
147阅读
MR，Spark，Flink自开篇第一个程序都是Word Count。那么今天Flink开始目标就是在本地调试出Word Count。所有的语言开篇章都是Hello Word，数据处理引擎也有Hello Word。那就是Word Count。单机安装Flink开始Flink之前先在本机尝试安装一下Flink，当然FLink正常情况下是部署的部署方式。作者比较穷，机器配置太低开不了几个虚拟机。所以只
转载
2024-03-23 09:02:33
48阅读
前言本文使用flink1.14.5版本，介绍standalone-HA模式的安装。此模式时高可用架构，采用zookeeper协调多个JobManager，保持每时每刻有一个运行中的JobManager,其余JobManager处理stand by状态。因为涉及到运行过程中的状态数据的存储，如savepoint,checkoutpoint等。采用minio替换掉hdfs来存储状态。一、资源说明1、f
转载
2024-02-27 11:04:14
404阅读
flink部署前置准备：1.CentOS7.52.java83.配置三台机器时间同步和免密登陆，关闭防火墙ip地址主机名192.168.10.128master192.168.10.129slave1192.168.10.130Slave2下载链接：https://flink.apache.org/zh/downloads.html#section-7这里我选择的是1.13.0：https://a
转载
2023-12-10 09:13:21
97阅读
要想学习分布式应用，ZooKeeper是一个绕不过去的基础系统。它为大型分布式计算提供开源的分布式配置服务、同步服务和命名注册。今天先介绍系统的安装和基本使用，后续会推一些基本的Java使用代码。1 安装配置ZooKeeperhttps://www.apache.org/dyn/closer.cgi/zookeeper/，下载最新的ZooKeeper程序，当前最新版本是3.5.5，要求JDK在1.
转载
2024-05-14 11:13:23
178阅读
1 环境说明注意：以下所有操作都在root用户下完成 sudo su - rootip操作系统版本用途192.168.30.18Ubuntu 18.04.4 LTSjobmanager容器、nfs服务(存储flink的checkpoint、savepoint)192.168.30.17Ubuntu 18.04.4 LTStaskmanager02容器192.168.3
转载
2023-07-20 15:01:06
322阅读
网络上关于如何单机模式安装Hadoop的文章很多，按照其步骤走下来多数都失败，按照其操作弯路走过了不少但终究还是把问题都解决了，所以顺便自己详细记录下完整的安装过程。此篇主要介绍在虚拟机设置完毕后，如何进行Ubuntu的安装。我所记录的笔记适合没有Linux基础的朋友跟我一起操作，同时欢迎高手参观指导。 环境约定以下环境基于攥写时间：5th July 2015。宿主机器：Wi
转载
2023-09-13 23:32:01
100阅读
一、下载安装 1、下载 https://www.apache.org/dyn/closer.lua/zookeeper/zookeeper-3.6.1/apache-zookeeper-3.6.1-bin.tar.gz 2、安装 tar -zxvf apache-zookeeper-3.6.1-bi ...
转载
2021-07-26 13:43:00
303阅读
2评论
Hadoop单机模式的配置与安装版权所有前言： 由于Hadoop属于java程序，所以，安装Hadoop之前需要先安装jdk。 对于hadoop0.20.2的单机模式安装就需要在一个节点（一台主机）上运行5个节点。分别是： JobTracker:负责Hadoop的Job任务分发和管理。 TaskTracke
原创
2022-10-19 11:42:23
957阅读
一、单机环境部署Flink是一款兼顾批处理和流处理的数据处理框架，具体的介绍网上很多，就不做赘述了，这篇主要讲一下环境启动及一个最简的运行示例，关于source和sink、slot和parallelism相关内容见后续文章，同时这里只针对Windows系统进行操作，Linux的操作大同小异，不做单独说明。首先在官网下载解压，这一步就不多说了，可自行选择需要的版本，这里使用1.9.2（刚下载完没过一
转载
2023-10-18 04:59:21
183阅读
docker 安装flink 单机版
在这篇博文中，我将详细介绍如何在 Docker 环境中安装 Flink 单机版。Flink 是一个强大的流处理框架，适用于批处理和流处理场景。使用 Docker 安装 Flink 可以有效地隔离环境，简化依赖管理。
## 环境准备
首先，我们需要确保有一个合适的环境来运行 Docker。以下是所需的前置依赖和版本兼容性矩阵。
### 前置依赖安装
确
