一、Catalog定义 Catalog 提供了元数据信息，例如数据库、表、分区、视图以及数据库或其他外部系统中存储的函数和信息。数据处理最关键的方面之一是管理元数据。 元数据可以是临时的，例如临时表、或者通过 TableEnvironment 注册的 UDF。 元数据也可以是持久化的二、Catalog在F
转载
2024-03-19 01:44:46
40阅读
前言以前写Flink从kafka入hdfs因为业务需求和老版本缘故都是自定义BucketSink入动态目录中，对于简单的需求可以直接用Flink SQL API进行输出。Flink版本1.13.1。Flink官网示例准备本地下载个kafka（单机即可），新建个桌面目录文件夹k2f。输入输出源按照建表有：执行操作语句：String opSql ="insert into fileOut select
转载
2023-11-27 16:08:30
197阅读
文章目录1.canalcanal的介绍Canal原理流程图2.FlinkCDC2.1什么是CDC2.2 CDC的种类2.2.1 DataStream的方式 (默认序列化器)2.2.2 FinkSQL的方式2.2.3 DataStream的方式 (自定义反序列化器) 1.canalcanal的介绍Canal是基于Mysql二进制的高性能数据同步系统,Canal在阿里巴巴集团中被广泛使用,以提供可靠
转载
2024-03-18 20:10:17
69阅读
一、CEP是什么在应用系统中，总会发生这样或那样的事件，有些事件是用户触发的，有些事件是系统触发的，有些可能是第三方触发的，但它们都可以被看做系统中可观察的状态改变，例如用户登陆应用失败、用户下了一笔订单或RFID传感器回报的消息。应对状态改变的策略可以分为两类，一类是简单事件处理（Simple event processing），一般简单事件处理会有两个步骤，过滤和路由，决定是否要处理，由谁处理
转载
2024-05-23 19:27:34
33阅读
# 优化flink消费主库MySQL binlog 参数调整
随着数据量的不断增加，对于实时数据处理的需求也越来越大。Flink作为一个流式计算引擎，可以帮助我们实现高效的数据处理和分析。在使用Flink消费主库MySQL binlog时，我们需要合理地调整参数以保证系统的稳定性和性能。
## 为什么需要调整参数
在消费主库MySQL binlog时，我们需要考虑以下几个方面的因素：
1.
原创
2024-03-18 06:39:14
105阅读
flink实现端到端精准一次消费(EOS)1、At-least-once 与 Exactly-Once区别理解barrier:checkpoint中的核心概念，多个barrier被插入到数据流中,然后作为数据流的一部分随着数据流动。barrier相当于给这
个流打上一个标记，当带有标记的流进入下游算子时，该算子会进行快照。同一时间可以有来源于多个不同快照的多个
barrier,这意
摘要：本文通过实例来演示怎么通过 Flink CDC 结合 Doris 的 Flink Connector 实现从 Mysql 数据库中监听数据并实时入库到 Doris 数仓对应的表中。主要内容包括：什么是 CDCFlink CDC什么是 Flink Doris Connector用法示例一、什么是 CDCCDC 是变更数据捕获 (Change Data Capture) 技术的缩写，它可以将源数
转载
2023-08-23 19:20:41
976阅读
flink处理延迟flink主要是处理实时数据的，在处理实时数据的过程中，难免会遇到乱序的存在。以事件时间举例，先发生的事件后到处理算子。flink针对乱序数据的处理主要有三种方式：拨慢水位线的生成，这种情况会在声明的窗口时间中，类似延迟窗口时间的大小，实际是把水位线的生成减小了1秒，导致窗口延迟关闭。下面的例子声明创建了一个滚动事件时间窗口，有效期是5秒，但是在生成水位线的时候，会拨慢1秒，如果
转载
2023-12-07 16:17:29
134阅读
在前面的文章中，我已经大致讲解了基于物品的协同过滤算法（itemCF）的原理以及在Python上的实现，实现的机制主要使用串行化，耗时长，响应慢，难以适应现实大数据的需求。本文主要讲解itemCF算法在Spark上的并行化实现以便更适合用途以及提高性能。本文主要内容：1.Spark介绍。2.Spark环境配置。3.算法实现的基本流程（附流程图）4.代码分步详解。5.完整代码。6.运行结果。7.参考
转载
2024-09-04 21:46:02
50阅读
# 深入了解 MySQL Binlog 及其消费
在数据库管理系统中，MySQL 是一个广泛使用的开源关系数据库，而 Binlog（Binary Log）是 MySQL 中一个重要的特性，主要用于记录所有更改数据库的操作。理解 Binlog 的工作原理和消费方法，能够帮助我们建设高可用性系统、进行数据备份和恢复，以及实现数据同步等。在这篇文章中，我们将详细介绍 MySQL Binlog 的概念、
本文是《Flink的DataSource三部曲》系列的第一篇，该系列旨在通过实战学习和了解Flink的DataSource，为以后的深入学习打好基础，由以下三部分组成：直接API：即本篇，除了准备环境和工程，还学习了StreamExecutionEnvironment提供的用来创建数据来的API；内置connector：StreamExecutionEnvironment的addSource方法，
转载
2024-03-29 10:19:19
59阅读
Flink入门系列文章主要是为了给想学习Flink的你建立一个大体上的框架，助力快速上手Flink。学习Flink最有效的方式是先入门了解框架和概念，然后边写代码边实践，然后再把官网看一遍。Flink入门分为四篇，第一篇是《了解Flink》，第二篇《架构和原理》，第三篇是《DataStream》，第四篇是《Table Api & SQL》。官网地址https://nightlies.apa
今天学习了入门级的用java编写生产者producer和消费者consumer操作activemq的queue队列，为了之后复习回顾，现做整理如下：maven工程的搭建此处不再讲解，在maven工程已搭建好的前提下进行如下步骤：1、 pom.xml中引入activemq所需的两个jar包<dependency>
<groupId>org.apache.a
转载
2023-09-23 11:36:40
63阅读
Kafka 介绍官方网址采用生产者消费者模型,具有高性能（单节点支持上千个客户端，百兆/s吞吐量）、持久性（消息直接持久化在普通磁盘上且性能好)、分布式（数据副本冗余、流量负载均衡、可扩展）、灵活性（消息长时间持久化+Client维护消费状态）的特点Kafka优势解耦与缓冲: 例如使用SparkStream时,于flume采集后的数据传输,解决了大量数据导致SparkStream崩溃的问题,flu
转载
2024-06-05 14:09:50
145阅读
一、概念Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以 实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟 的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务 等等，用scala语言编写，Li
转载
2024-03-22 08:23:16
69阅读
首先明确一点，RocketMQ 是基于发布订阅模型的消息中间件。所谓的发布订阅就是说，consumer 订阅了 broker 上的某个 topic，当 producer 发布消息到 broker 上的该 topic 时，consumer 就能收到该条消息。之前我们讲过 consumer group 的概念，即消费同一类消息的多个 consumer 实例组成一个消费者组，也可以称为一个 consum
转载
2024-06-27 09:02:54
199阅读
KafkaApache kafka 是一个分布式消息系统，能作为生产者消费者问题连接的框架。1. Kafka的特性 1）高吞吐/低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒 2）可扩展性：kafka集群支持热扩展 3）持久性/可靠性：消息被持久化到本地磁盘，并且支持数据备份 4）容错性：允许集群中节点失败（若副本数量为n,则允许n-1个节点失败） 5）高并发：支持数千个客户端
转载
2024-02-03 13:56:10
60阅读
目录测试用sourceJDBCsource读取 Kafka数据常见的Source可以分为大概4类：1、基于本地集合的 source2、基于文件的 source3、基于网络套接字的 source4、自定义的 source 常见的有 Apache kafka、Amazon Kinesis Streams、RabbitMQ、Twitter Streaming API、Apache NiFi 等，当然你也
转载
2024-04-23 06:44:54
74阅读
# Kafka消费MySQL Binlog：数据流转新方案
在现代应用中，数据的实时性和一致性变得越来越重要。尤其是在使用MySQL这种关系型数据库时，如何将数据变更及时同步到其他系统，成为了许多开发者亟需解决的问题。这里，我们将探讨如何使用Kafka来消费MySQL的Binlog，实现数据的实时同步。
## 什么是MySQL Binlog？
MySQL Binlog（二进制日志）是一种记录
主要想练习一下goquery，首先是实践一把 使用goquery爬取豆瓣电影top250从原文最后复制代码，编译运行。输入一堆err调试了一下，返回Http错误代码418，应该是反爬虫了。好吧，我们不应增加服务器的负担，但也不应该逼着我们每次用自己的眼球看吧，用程序读网页又怎么啦！于是，把程序中的循环去掉，只读取第一页，并增加请求头试试。package main
import (
