1.概述Flink CDC 是Apache Flink ®的一组源连接器，使用变更数据捕获 (CDC) 从不同数据库中获取变更。Apache Flink 的 CDC Connectors集成 Debezium 作为捕获数据更改的引擎。所以它可以充分发挥 Debezium 的能力。2.支持的连接器连接器数据库驱动mongodb-cdcMongoDB: 3.6, 4.x, 5.0MongoDB Dri
转载
2024-06-04 20:06:49
48阅读
一、实时数仓经典架构 实时数仓有三个著名的分水岭：第一个分水岭是从无到有，Storm 的出现打破了 MapReduce 的单一计算方式，让业务能够处理 T+0 的数据。第二个分水岭是从有到全，Lambda 与 Kappa 架构的出现，使离线数仓向实时数仓迈进了一步，而 Lambda 架构到 Kappa 架构的演进，实现了离线数仓模型和实时数仓模型的紧密结合。第三个分水岭是从繁到简，Fli
前言写作本文的背景是由于字节的暑期青训营中，某个项目要求编写一个简易的流处理引擎（flink），开发语言不限，推荐Java，本着好奇心的驱使，我打算使用Go语言进行部分尝试。既然是流处理引擎，那么首先需要有流式的数据源，一般而言，flink会配合从kafka中获取数据流，先不考虑后续编写引擎的部分，本文将着重于kafka的部署，并且后半段将给出使用Go语言编写kafka的生产者和消费者。如果你只是
转载
2024-04-07 13:30:49
17阅读
对于CDH集成Flink在网上找了一下博文，有的给出了官方的链接，好像点进去都失效了。然后通过尝试制作parcel包的方式来集成到CDH的方式成功了，过程也比较简单，特此记录一下。 首先感谢flink-parcel作者，接下来讲诉制作过程。 1.首先下载相关项目到服务器，然后修改flink-parcel.propertiesgit clone https://github.com/pkeropen
转载
2024-04-25 20:39:41
33阅读
一 .superset 是什么 Superset 是一个基于 Python Flask 和 Apache Superset 的数据可视化和探索平台。建议去官方github去探索 GitHub - apache/superset：Apache Superset 是一个数据可视化和数据探索平台GitHub网址有时候访问不进去，可以进入最先进的安全且免费的网络代理 |代理代
### MySQL往视图里写数据
在MySQL数据库中，视图（View）是一种虚拟的表，它是基于一个或多个表的查询结果集。视图可以简化复杂的查询操作，提高数据的安全性和隐私性。一般来说，视图是只读的，也就是说我们不能直接往视图里写入数据。但是如果我们想往视图里写入数据，该怎么办呢？接下来就让我们一起来探讨一下这个问题。
### 如何往视图里写数据
要往视图里写数据，我们可以通过创建一个触发器
原创
2024-05-08 05:13:03
544阅读
水印到目前为止，我们一直在从管道作者或数据科学家的角度来看待流处理。第2章介绍了水印作为回答事件时间处理发生位置以及处理时间结果何时实现的基本问题的答案的一部分。在本章中，我们处理相同的问题，而不是从流处理系统的底层机制的角度来看。查看这些机制将有助于我们激发，理解和应用水印的概念。我们将讨论如何在数据入口处创建水印，它们如何在数据处理管道中传播，以及它们如何影响输出时间戳。我们还演示了水印如何保
转载
2024-05-10 03:15:56
81阅读
背景：项目最开始时使用的是SQL Server数据库，业务需求现要将数据库调整为MySQL。网上搜集了一些教程，整理了一个相对简单方便的分享给大家。 1、先去mysql官网下载一个odbc的驱动，因为MSsql一直没有集成mysql的驱动，这个玩意需要单独下载并安装。点我下载 我下载的是windows解压缩的包Windows (x86, 64-bit),
转载
2023-12-08 22:14:50
16阅读
# MySQL往临时表写数据丢数据的实现方法
## 1. 介绍
在开发过程中，有时候我们需要将数据写入临时表，进行一些操作后再将数据导入到正式表中。然而，在实现这个功能的过程中，有可能会出现数据丢失的情况。本文将教给刚入行的小白如何安全地实现“MySQL往临时表写数据丢数据”的操作。
## 2. 流程图
下面是实现整个流程的表格：
步骤 | 说明
------|------
创建临时表
原创
2023-10-09 04:42:35
73阅读
LAN 接口的配置 采集西门子S7-1200 PLC的配置工业智能网关BL110一共有一 个LAN 接口，一个WAN接口，可以通过LAN 接口采集数据，通过WAN接口接入局域网，设置过程不一样，WAN接口可以自动获取IP以及相关以太网设置。LAN 接口和WAN接口（可选）的配置双击“LAN”工业智能网关BL110 西门子S7-1200 PLC接入Modbus TCP Server云平台配置双击“W
**非关系型数据库MONGODB处理特定格式数据非关系型数据库简介平时使用非关系型数据库（hbase、redis、mongodb等nosql数据库），通常会处理一些ppt、word等非规则数据，届时需要使用转码值包或者外部springboot包进行处理，今天主要提及下mongodb是怎么处理或者读写word种类数据数据格式在日常的开发和处理数据etl的过程中，在数据存储阶段（拿hive数据仓库举例
写在前面：好久没有写文章了，原谅我最近比较懒。这篇文章花了两周，总结了3本书的内容：《MySQL技术内幕：InnoDB存储引擎》，《高性能MySQL》3th,《MySQL架构优化实践》，总共写了3次，每次写了一半觉得不满意又删了，想把3本的内容都放一起真的比较难。对于MySQL，还是非常高深的。以下知识点都是简单的提了一下，每一条都值得读者仔细琢磨。建议先看书，再看这篇文章的内容MySQL是一个开
转载
2024-08-26 20:26:51
52阅读
# 教你如何使用 Flink SQL 往 HBase 插入数据
## 一、整体流程
首先，我们来看一下实现“Flink SQL往HBase插入数据”的整个流程，如下表所示：
```mermaid
gantt
title Flink SQL往HBase插入数据流程
section 准备工作
准备Flink集群和HBase集群: done, 2022-01-01,
原创
2024-03-16 04:44:30
133阅读
MySQL——>数据操作1.MySQL(安装了解)：2.MySQL(进入数据库了解)：3.MySQL(登陆用户操作)：4.MySQL(数据库、表的操作)： 1.MySQL(安装了解)：1.首先，任何一个文件的bin文件下面是可执行文件。2.如果安装完成后运行mysqld命令报data错误，很可能是缺少data目录。3.MySQL数据库的实质是开两个服务，即Server/Client.利用m
# 从Java中往Excel写数据的方法
在实际的开发中，我们经常会遇到需要将数据写入Excel表格的情况。Java提供了多种方式来实现这一功能，下面我们将介绍如何使用Java往Excel中写入数据的方法。
## 使用Apache POI库
Apache POI是一个用于读写Microsoft Office文件的Java库，我们可以使用它来操作Excel文件。下面是一个简单的代码示例，演示如
原创
2024-04-27 06:01:52
29阅读
## 如何将 Kafka 数据写入 Redis
### 整体流程
下面是将 Kafka 数据写入 Redis 的整体流程：
| 步骤 | 描述 |
| ------ | ------ |
| 1 | 从 Kafka 中消费消息 |
| 2 | 对消息进行处理 |
| 3 | 将处理后的数据写入 Redis |
下面将逐步解释每个步骤需要做什么以及需要使用的代码。
### 步骤1：从 Ka
原创
2023-11-30 16:28:10
232阅读
# Java中往文件写数据的操作详解
在Java编程中，经常需要将数据写入文件进行持久化操作。本文将介绍如何使用Java实现往文件写数据的操作，并提供代码示例来帮助读者更好地理解这一过程。
## 流程图
```mermaid
flowchart TD
A(开始) --> B(打开文件)
B --> C(写入数据)
C --> D(关闭文件)
D --> E(结
原创
2024-02-23 04:59:38
37阅读
第五章 · Java客户端（上）前面的章节介绍了redis的安装、还有命令配置等内容，我们在实际使用时大部分情况都是利用现成的Java客户端对redis进行操作。当然命令并不是没用，它极有可能在你排查问题时排上用场，因为你有可能会直接连入redis服务端通过命令行来排查是否是redis缓存的问题。redis的Java客户端最常用的是jedis开源库，本章我们也将围绕jedis的对redis进行一些
转载
2024-09-19 14:42:31
41阅读
```markdown
## Jmeter往Redis写数据的过程记录
在性能测试场景中，常常需要将数据写入外部数据存储以进行更深层次的分析。本篇记录了使用 JMeter 向 Redis 写入数据的全过程，包括协议背景、抓包方法、报文结构、交互过程、安全分析，以及工具链集成。以下内容将逐步引导读者了解整个流程。
### 协议背景
Redis 是一个内存数据结构存储，它可以用作数据库、缓存和消
1. os.popen()os.system(cmd)会直接输出命令的结果到屏幕上，返回一个状态码0或1。os.popen(cmd)会返回一个<open file 'dir', mode 'r' at 0x016AD1D8> file read对象如果要读取返回的内容，os.popen(cmd).read()进行读取。2. subprocess（Python3）和commands（Py
