1.概述Flink CDC 是Apache Flink ®的一组源连接器，使用变更数据捕获 (CDC) 从不同数据库中获取变更。Apache Flink 的 CDC Connectors集成 Debezium 作为捕获数据更改的引擎。所以它可以充分发挥 Debezium 的能力。2.支持的连接器连接器数据库驱动mongodb-cdcMongoDB: 3.6, 4.x, 5.0MongoDB Dri
转载
2024-06-04 20:06:49
48阅读
一、实时数仓经典架构 实时数仓有三个著名的分水岭：第一个分水岭是从无到有，Storm 的出现打破了 MapReduce 的单一计算方式，让业务能够处理 T+0 的数据。第二个分水岭是从有到全，Lambda 与 Kappa 架构的出现，使离线数仓向实时数仓迈进了一步，而 Lambda 架构到 Kappa 架构的演进，实现了离线数仓模型和实时数仓模型的紧密结合。第三个分水岭是从繁到简，Fli
前言写作本文的背景是由于字节的暑期青训营中，某个项目要求编写一个简易的流处理引擎（flink），开发语言不限，推荐Java，本着好奇心的驱使，我打算使用Go语言进行部分尝试。既然是流处理引擎，那么首先需要有流式的数据源，一般而言，flink会配合从kafka中获取数据流，先不考虑后续编写引擎的部分，本文将着重于kafka的部署，并且后半段将给出使用Go语言编写kafka的生产者和消费者。如果你只是
转载
2024-04-07 13:30:49
17阅读
一 .superset 是什么 Superset 是一个基于 Python Flask 和 Apache Superset 的数据可视化和探索平台。建议去官方github去探索 GitHub - apache/superset：Apache Superset 是一个数据可视化和数据探索平台GitHub网址有时候访问不进去，可以进入最先进的安全且免费的网络代理 |代理代
对于CDH集成Flink在网上找了一下博文，有的给出了官方的链接，好像点进去都失效了。然后通过尝试制作parcel包的方式来集成到CDH的方式成功了，过程也比较简单，特此记录一下。 首先感谢flink-parcel作者，接下来讲诉制作过程。 1.首先下载相关项目到服务器，然后修改flink-parcel.propertiesgit clone https://github.com/pkeropen
转载
2024-04-25 20:39:41
33阅读
### MySQL往视图里写数据
在MySQL数据库中，视图（View）是一种虚拟的表，它是基于一个或多个表的查询结果集。视图可以简化复杂的查询操作，提高数据的安全性和隐私性。一般来说，视图是只读的，也就是说我们不能直接往视图里写入数据。但是如果我们想往视图里写入数据，该怎么办呢？接下来就让我们一起来探讨一下这个问题。
### 如何往视图里写数据
要往视图里写数据，我们可以通过创建一个触发器
原创
2024-05-08 05:13:03
544阅读
水印到目前为止，我们一直在从管道作者或数据科学家的角度来看待流处理。第2章介绍了水印作为回答事件时间处理发生位置以及处理时间结果何时实现的基本问题的答案的一部分。在本章中，我们处理相同的问题，而不是从流处理系统的底层机制的角度来看。查看这些机制将有助于我们激发，理解和应用水印的概念。我们将讨论如何在数据入口处创建水印，它们如何在数据处理管道中传播，以及它们如何影响输出时间戳。我们还演示了水印如何保
转载
2024-05-10 03:15:56
81阅读
背景：项目最开始时使用的是SQL Server数据库，业务需求现要将数据库调整为MySQL。网上搜集了一些教程，整理了一个相对简单方便的分享给大家。 1、先去mysql官网下载一个odbc的驱动，因为MSsql一直没有集成mysql的驱动，这个玩意需要单独下载并安装。点我下载 我下载的是windows解压缩的包Windows (x86, 64-bit),
转载
2023-12-08 22:14:50
16阅读
LAN 接口的配置 采集西门子S7-1200 PLC的配置工业智能网关BL110一共有一 个LAN 接口，一个WAN接口，可以通过LAN 接口采集数据，通过WAN接口接入局域网，设置过程不一样，WAN接口可以自动获取IP以及相关以太网设置。LAN 接口和WAN接口（可选）的配置双击“LAN”工业智能网关BL110 西门子S7-1200 PLC接入Modbus TCP Server云平台配置双击“W
# MySQL往临时表写数据丢数据的实现方法
## 1. 介绍
在开发过程中，有时候我们需要将数据写入临时表，进行一些操作后再将数据导入到正式表中。然而，在实现这个功能的过程中，有可能会出现数据丢失的情况。本文将教给刚入行的小白如何安全地实现“MySQL往临时表写数据丢数据”的操作。
## 2. 流程图
下面是实现整个流程的表格：
步骤 | 说明
------|------
创建临时表
原创
2023-10-09 04:42:35
73阅读
**非关系型数据库MONGODB处理特定格式数据非关系型数据库简介平时使用非关系型数据库（hbase、redis、mongodb等nosql数据库），通常会处理一些ppt、word等非规则数据，届时需要使用转码值包或者外部springboot包进行处理，今天主要提及下mongodb是怎么处理或者读写word种类数据数据格式在日常的开发和处理数据etl的过程中，在数据存储阶段（拿hive数据仓库举例
写在前面：好久没有写文章了，原谅我最近比较懒。这篇文章花了两周，总结了3本书的内容：《MySQL技术内幕：InnoDB存储引擎》，《高性能MySQL》3th,《MySQL架构优化实践》，总共写了3次，每次写了一半觉得不满意又删了，想把3本的内容都放一起真的比较难。对于MySQL，还是非常高深的。以下知识点都是简单的提了一下，每一条都值得读者仔细琢磨。建议先看书，再看这篇文章的内容MySQL是一个开
转载
2024-08-26 20:26:51
52阅读
MySQL——>数据操作1.MySQL(安装了解)：2.MySQL(进入数据库了解)：3.MySQL(登陆用户操作)：4.MySQL(数据库、表的操作)： 1.MySQL(安装了解)：1.首先，任何一个文件的bin文件下面是可执行文件。2.如果安装完成后运行mysqld命令报data错误，很可能是缺少data目录。3.MySQL数据库的实质是开两个服务，即Server/Client.利用m
# 教你如何使用 Flink SQL 往 HBase 插入数据
## 一、整体流程
首先，我们来看一下实现“Flink SQL往HBase插入数据”的整个流程，如下表所示：
```mermaid
gantt
title Flink SQL往HBase插入数据流程
section 准备工作
准备Flink集群和HBase集群: done, 2022-01-01,
原创
2024-03-16 04:44:30
133阅读
在Kubernetes (K8S) 中使用Java往Elasticsearch (ES) 写数据是一项常见的任务，本文将向新手开发者介绍如何实现这个过程。首先，让我们来看一下整个流程，然后逐步介绍每个步骤需要做什么以及涉及的代码示例。
### 整体流程
| 步骤 | 描述 |
| --- | --- |
| 1 | 配置Elasticsearch集群 |
| 2 | 创建Java应用程序 |
原创
2024-05-23 11:30:12
70阅读
# 从Spark往HDFS写数据
在大数据领域，Spark作为一种快速、通用的数据处理引擎，广泛应用于数据分析、机器学习等领域。而HDFS（Hadoop Distributed File System）则是Apache Hadoop的核心组件，用于存储大规模数据集。在实际生产环境中，我们经常需要将Spark处理后的数据写入到HDFS中，以便后续分析和处理。
本文将介绍如何使用Spark将数据写
原创
2024-06-24 04:28:22
150阅读
## Java往ES写数据的流程
下面是Java往ES写数据的整个流程，可以用表格展示步骤：
| 步骤 | 描述 |
| ---- | ---- |
| 步骤1 | 创建连接ES的客户端 |
| 步骤2 | 创建索引 |
| 步骤3 | 创建映射 |
| 步骤4 | 创建文档 |
| 步骤5 | 向ES写入数据 |
| 步骤6 | 关闭客户端 |
下面将详细介绍每一步需要做什么以及需要使用的
原创
2023-08-18 09:28:17
132阅读
# 用Java往HBase写数据
HBase是一个开源的分布式列式存储系统，适合存储大规模的结构化数据。在Java中往HBase写数据可以通过HBase提供的Java API来实现。本文将介绍如何使用Java往HBase写入数据，并提供相应的代码示例。
## 流程图
```mermaid
flowchart TD
A(连接HBase) --> B(创建表)
B --> C(创
原创
2024-06-16 06:04:15
196阅读
# Java往Prometheus写数据的实践
Prometheus是一个开源的监控和警报系统，广泛应用于云原生应用和微服务架构。它通过时间序列数据收集和存储状态信息。这篇文章将介绍如何通过Java应用程序将数据写入Prometheus，并给出相关的代码示例。
## 为什么使用Prometheus？
Prometheus由于其高效的性能及强大的功能，被许多开发者和运维人员所青睐。其主要优点包
# Java往文件写数据
在Java编程中，经常需要将数据写入文件中，以便进行永久保存或者与其他系统进行数据交换。本文将介绍如何使用Java往文件写数据的方法，以及代码示例和相关的类图和序列图。
## FileWriter类
Java提供了FileWriter类，用于写入字符流。通过FileWriter类，可以将数据写入文件中，并且可以指定是否是追加写入或者覆盖写入。下面是FileWrite
原创
2024-06-20 04:58:10
21阅读
