教你在excel中使用VLOOKUP函数1、VLOOKUP函数的语法结构整个计算机就相当于一门语言，首先就是要熟知该函数的语法结构。VLOOKUP(lookup_value, table_array, col_index_num, [range_lookup])。更易理解的表述就是VLOOKUP(查找值，查找范围，查找列数，精确匹配或者近似匹配)在我们的工作中，几乎都使用精确匹配，该项的参数一定要
转载
2024-10-23 18:43:09
15阅读
Influxdb Java客户端Influxdb 的Docker版本目前最高是1.8.3. 官方最高版本是2.0.Note: We recommend using the new client libraries on this page to leverage the new read (via Flux) and write APIs and prepare for conversion to
转载
2023-05-25 15:05:18
574阅读
问题描述使用flink sql语法创建源表，使用flink-mysql-cdc读取mysql的binlog：CREATE TABLE mysql_binlog (
user_id STRING NOT NULL,
birthday INT,
PRIMARY KEY (user_id) NOT ENFORCED
) WITH (
'connector' = 'mysq
转载
2024-07-01 18:06:46
97阅读
闲扯最近Spark2.3正式发布，流处理不再试Beta版，Spark的Structure Streaming几乎是拥有了Flink的所有功能，生态社区做得好就是不一样，Flink该加把劲了…引言Exactly-once是一个经常提到的语义，也是程序开发中，需要尽可能做到的一个理想状态。这种语义其实放在分布式程序中有很多种理解，比如读取数据源Exactly-once，Process过程Exactly
转载
2024-03-21 15:40:51
125阅读
摘要：MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下，用户将数据存储在OBS服务中，使用MRS集群仅做数据计算处理的存算分离模式。华为云社区《【云小课】EI第47课 MRS离线数据分析-通过Flink作业处理OBS数据》，作者：Hello EI 。MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下，用户将数据存储在OBS服务中，使用MRS集群仅做数据计算处理的存算分离模式。Fl
转载
2024-04-30 16:36:31
26阅读
Flink对接OBS方案 有两种方案可供选择仿distributehdfs方案：逻辑简单代码量少，约束少，强约束2.Truncate接口有一个强约束：并行文件桶才支持，对象桶不支持（obs方面在大数据场景下主推并行文件桶，不再推对象桶） 仿s3方案：逻辑复杂且可能有约束和场景限制 仿distributehdfs方案 （1）DLI同事要判断一下风险点StreamingFileSink：OBS内部已经
转载
2024-05-24 07:43:52
64阅读
1 练习讲解(此处自己没跑通，以后debug) 题目见flink---实时项目---day02kafka中的数据，见day02的文档GeoUtilspackage cn._51doit.flink.day07;
import ch.hsr.geohash.GeoHash;
import com.alibaba.fastjson.JSON;
import com.alibaba.fas
转载
2024-03-12 13:10:52
39阅读
Flink CDC Oracle 完整踩坑指南1. flink-cdc同步oracle表的增量数据试用环境：**Oracle：**11.2.0.4.0（RAC 部署）**Flink：**1.12.0通过 Flink 集群方式部署使用。完整代码实现：package com.nari.cdc.job;
/**
* 同步oracle指定表 发送到kafka
*
* @author gym
*
转载
2024-02-04 02:13:36
251阅读
# 使用Flink和Java广播流加载InfluxDB数据
## 引言
Apache Flink是一种流处理框架，能够轻松处理大规模的数据流。在许多应用场景中，我们需要将实时数据流与静态数据结合，以产生更有意义的分析结果。InfluxDB是一个开源时序数据库，非常适合存储与时序相关的数据。本文将介绍如何使用Flink结合Java广播流加载InfluxDB数据，最终实现高效的数据处理。
##
目录0. 相关文章链接1. 流读（Streaming Query）2. 增量读取（Incremental Query）3. 限流0. 相关文章链接 Hudi文章汇总 1. 流读（Streaming Query） 当前表默认是快照读取，即读取最新的
转载
2023-07-18 13:10:21
146阅读
Flink读取csv文件遇到中文乱码今天用了项目的数据集来探索Flink的API,但是发现输出的中文乱码.因为对Flink不太熟,先确定了Flink默认读取文件的编码就是UTF-8,但贼心不死又去确认了一遍System.out.println(env.readCsvFile("E:\\Project\\a09\\data\\station.csv").getCharset());
//UTF-8用
转载
2023-06-17 19:46:42
248阅读
摘要：基于Flink1.14.4 + Iceberg0.13.2 , 使用FlinkStream API 操作Iceberg，包含使用catalog 类型为hadoop 以及hive的表的创建、批量读取、流式读取、追加、覆盖、修改表结构、小文件合并，分别就DataStream<Row 及DataStream<RowData 两种输入类型进行数据的输入转换。1. 官方文档官方地址：htt
转载
2024-03-25 13:25:31
80阅读
KafkaConnector使用方法引言Flink通过Kafka Connector提供从Kafka读取数据和向Kafka写入数据的功能，并通过Checkpoint机制实现了Exactly-Once的操作语义，在保证数据读取和写入准确性的同时能够查询对应的offset信息。KafkaConsumner基本使用篇Flink通过KafkaConsumer从Kafka的一个（或多个）Topic中读取数据
转载
2024-03-08 22:39:53
459阅读
1、前提背景准备
Flink在1.11之后就已经支持从MySQL增量
读取Binlog日志的方式。pom文件如下：<properties>
<scala.binary.version>2.11</scala.binary.version>
<scala.version>2.11.12</scala.version>
&
转载
2023-08-31 08:30:56
223阅读
Flume的安装及使用Flume的安装1、上传至虚拟机，并解压tar -zxvf apache-flume-1.6.0-bin.tar.gz -C /usr/local/soft/在环境变量中增加如下命令，可以使用 soft 快速切换到 /usr/local/softalias soft=‘cd /usr/local/soft/’2、重命名目录，并配置环境变量mv apache-flume-1.6
转载
2024-02-25 07:18:12
59阅读
Flink数据下沉到Elasticsearch示例简介 当初做课程设计的时候，找到的flink接入elasticsearch的文章除了flink的文档示例之外版本都挺老的，所以自己按照flink的文档把原来的改造了一下。现在再更新最新版本，然后做一下整理。 最新版本flink1.12，scala2.12.7，elasticsearch7.10.1，kibana7.10.1。flink1.10更
转载
2024-03-07 13:06:48
515阅读
目录1. 写入方式1.1 CDC Ingestion1.2 Bulk Insert1.3 Index Bootstrap2. 写入模式2.1 Changelog Mode2.2 Append Mode3. write写入速率限制4. 读取方式4.1 Streaming Query4.2 Incremental Query 1. 写入方式1.1 CDC Ingestion有两种方式同步数据到Hud
转载
2023-07-14 17:09:34
376阅读
FlinkStreamETL0.功能说明概括：利用Flink实时统计Mysql数据库BinLog日志数据，并将流式数据注册为流表，利用Flink SQL将流表与Mysql的维表进行JOIN，最后将计算结果实时写入Greenplum/Mysql。1.需求分析1.1需求实时统计各个地区会议室的空置率，预定率，并在前端看板上实时展示。源系统的数据库是Mysql，它有三张表，分别是：t_meeting_i
转载
2023-07-25 22:25:50
0阅读
# Flink读取MySQL数据的完整指南
Apache Flink 是一个用于大规模数据处理的开源流处理框架。它能够处理来自多种源的数据，包括 MySQL 数据库。本文将会详细介绍如何用 Flink 从 MySQL 中读取数据，分步骤讲解所需的操作和代码，并给出必要的注释。
## 整体流程概述
以下是实现 Flink 读取 MySQL 数据的基本步骤，具体流程请查看下表：
| 步骤 |
# Flink 读取 Redis 数据
## 简介
Apache Flink 是一个分布式流处理和批处理框架，具有高吞吐量、低延迟、容错性等特点。在实时数据处理中，经常需要从外部数据源读取数据进行处理。本文将介绍如何使用 Flink 读取 Redis 数据，并给出相应的代码示例。
## Redis 数据源
Redis 是一个高性能的键值存储系统，常用于缓存和实时数据分析场景。在 Flink
原创
2023-07-23 04:29:18
485阅读
