wx60dacb4325b51的博客

看完这篇， FlinkSQL 统统能整明白了

马云曾在一次演讲中说道：“未来的时代，将不再是 IT 时代，而是 DT 时代。”的确，这些年，越来越多开发，

人工智能

大数据

编程语言

java

数据分析

转载 2022-11-01 10:44:25 10000+阅读

flink-cdc实时增量同步mysql数据到hive

CDC是（Change Data Capture 变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据或数据表的插入INSERT、更新UPDATE、删除DELETE等）

hive

mysql

flink

kafka

原创 2022-10-21 16:21:07 10000+阅读

flink-cdc同步mysql数据到hive

务进行订阅及消费。Flink_CDC1. 环境准备mysqlHiveflink ...

mysql

java

数据库

hive

hadoop

原创 2022-10-08 13:37:52 10000+阅读

flink-cdc同步mysql数据到hbase

务进行订阅及消费。Flink_CDC1. 环境准备mysq...

mysql

数据库

java

sql

hadoop

原创 2022-10-03 14:27:56 10000+阅读

flink-cdc实时增量同步mysql数据到hbase

CDC是（Change Data Capture 变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据或数据表的插入INSERT、更新UPDATE、删除DELETE等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。

hbase

flink

mysql

sql

原创 2022-09-17 00:37:46 10000+阅读

flink-cdc实时增量同步mysql数据到kafka

CDC是（Change Data Capture 变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据或数据表的插入INSER

大数据

flink

kafka

mysql

原创 2022-09-17 00:37:10 10000+阅读

flink-cdc实时增量同步mysql数据到elasticsearch

CDC是（Change Data Capture 变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据或数据表的插入INSERT、更新UPDATE、删除DELETE等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。

elasticsearch

flink

mysql

sql

原创 2022-09-17 00:36:40 10000+阅读

mysql索引不生效

并不是索引越多越好，索引是一种以空间换取时间的方式，所以建立索引是要消耗一定的空

mysql

数据库

java

字段

数据

原创 2022-09-10 00:24:20 10000+阅读

logstash同步mysql数据到elasticsearch

elasticsearch

mysql

java

数据库

elastic

原创 2022-08-06 00:41:54 10000+阅读

elasticsearch修改字段类型

1、原索引2、创建新索引3、同步数据4、删除原索引5、设置别名欢迎访问我的个人博客，听听我的故事。

elasticsearch

大数据

搜索引擎

数据

设置别名

原创 2022-07-16 00:38:43 10000+阅读

为什么大数据平台要回归SQL

先说观点：因为还没找到更好的。接下来说原因，首先来看看大数据平台都在干什么。原因结构化数据计算仍是着非结构化数据。不过，数据光存储还不行，只有利用起来才能产生价值，这...

算法

数据库

大数据

编程语言

人工智能

转载 2022-06-07 21:28:13 10000+阅读

我是Flink，现在

为什么你的Flink运行开始减慢了？为什么你试遍Flink参数还是无法解决？

java

flink

人工智能

kafka

oom

转载 2022-05-16 14:49:16 10000+阅读

数据仓库—开发规范

数据仓库系列文章(持续更新)数仓架构发展史数仓建模方法论数仓建模分层理论数仓建模—宽表的设计数仓建模—指标体系数据仓库之拉链表数仓—数据集成数仓—数据集市数仓—商业智能系统数仓—埋点设计与管理数仓—ID Mapping数仓—OneID数仓—AARRR海盗模型数仓—总线矩阵数仓—数据安全数仓—数据质量数仓—数仓建模和业务建模凡事无规矩不立

数据仓库

数据分析

大数据

java

数据库

转载 2022-05-15 09:48:17 10000+阅读

数仓建模—建模工具PdMan

数据仓库系列文章(持续更新)数仓架构发展史数仓建模方法论数仓建模分层理论数仓建模—宽表的设计数仓建模—指标体系数据仓库之拉链表数仓—数据集成数仓—数据集市数仓—商业智能系统数仓—埋点设计与管理数仓—ID Mapping数仓—OneID数仓—AARRR海盗模型数仓—总线矩阵数仓—数据安全数仓—数据质量数仓—数仓建模和业务

数据库

大数据

python

java

人工智能

原创 2022-04-20 13:49:59 10000+阅读

数据仓库—数仓治理

本文目录数据治理统一流程参考模型为什么要治理DMBOK的数据治理框架数仓治理治理的分类数据源治理数仓模型治理数据服务治理上下游约定数仓评价(如何评价一个数据仓库的好坏)数据准确性时效性覆盖...

大数据

java

数据仓库

人工智能

数据库

原创 2022-04-19 10:46:40 10000+阅读

Hive之同比环比的计算

关注公众号：大数据技术派，回复: 资料，领取1024G资料。目录同比环比的计算测试数据销售量的月年占比同比环比同比环比

大数据

hive

数学建模

java

python

原创 2022-04-19 10:46:07 10000+阅读

从0到1搭建数仓DWD层案例实践

关注公众号：大数据技术派，回复资料，领取1024G资料。比别人更快接收好文章前导读：数仓架构（ods-dwd-dws-ads）每一层之前我们已经分享过很多干货了...

大数据

java

hive

数据仓库

数据库

转载 2022-04-19 10:29:07 10000+阅读

Flink on Yarn安装

步骤很简单，既然要基于yarn，前提是hadoop已经安装好了，我们选择hadoop集群的一个节点，安装一个flink客户端即可。我们平时提交任务，包

flink

yarn

hadoop

scala

原创 2022-04-19 10:28:38 10000+阅读

Flink 大规模作业调度性能优化

摘要：本文作者洪志龙（柏星）& 朱翥（长耕），分享了如何在 Flink 1.13 版本和 1.14 版本中对 Flink 调度大规模作业的性能进行了优化。主要内容包括：性能测评结果...

算法

分布式

java

大数据

redis

转载 2022-04-19 10:28:29 10000+阅读

Flink吐血总结，学习与面试收藏这一篇就够了！！！

关注大数据左右手回复关键字【资料】获取10万字的框架知识点总结和利于开发的大数据框架命令（纯净版）FlinkFlink 核心特点批流一体所有的数据都天然带有时间的概念，必然发生在某...

大数据

数据库

python

java

hadoop

转载 2022-04-19 10:26:40 10000+阅读

Spark面试干货总结！（8千字长文、27个知识点、21张图）

关注3分钟秒懂大数据每天1次，打卡阅读获取流计算、大数据技术和面经大家好，我是土哥。都说金九银十是找工作的绝佳时期，那现在土哥就以面试的方式为大家总结 Spark 面试所涉及...

分布式

算法

大数据

hadoop

spark

转载 2022-04-19 10:26:05 10000+阅读

一文搞懂ETL和ELT的区别

在过去的十年，我们对存储和管理数据的方式发生了很大的变化，并从ETL模式逐渐转向ELT，然而，小编认为这并不会是终点；

java

大数据

编程语言

人工智能

设计模式

转载 2022-04-19 10:23:26 10000+阅读

5000字6图 | 一篇文章帮你理解大数据列式存储(干货收藏)

什么是列式存储所谓行式存储，指存储结构化数据时，在底层的存储介质上，数据是以行的方式来组织的，即存储完一条记录的所有字段

java

大数据

数据库

hive

数据仓库

转载 2022-04-19 10:23:07 10000+阅读

当我们在做流批一体时，我们在做什么？

1.前言本文主要是分享目前博主理解的流批一体产生的背景，想解决的问题，以及后续可能实现的思路，并以几个案例进行介绍。抛砖引

人工智能

java

机器学习

大数据

数据分析

转载 2022-04-19 10:21:48 10000+阅读

2021，我这一年

本文目录写作工作与学习阅读收入我的父亲2021，我这平凡的一年。这一年，说它平凡，一点也不为过。似乎从小到大，我所遭遇的

人工智能

java

编程语言

大数据

软件开发

原创 2022-04-19 10:21:25 8462 阅读

爆肝 3 月，3w 字、15 章节详解 Flink 状态管理！（建议收藏）

1.前言大家好，我是老羊。该文耗时将近 3 个月总结。集博主心得理解之大成。不多说了，本文从盘古开天辟地（状态是啥？）开始说 Flink State。如下为本文目录，诚意满满。⭐ 状态是什么东西？有了状态能做什么？⭐ 为什么离线计算中不提状态，实时计算老是提到状态这个概念？状态到底在实时计算中解决了什么问题？⭐ 有了状态、为什么又出现了状态管理的概念？⭐ 怎么学习 Flink 中的状态、状态管理相

大数据

编程语言

数据库

redis

java

转载 2022-04-11 16:00:49 8278 阅读

数据仓库—数据集成

早晨起床的时候，发现自己尿分叉，我没有多想，简单洗洗就匆忙出门。路过早餐店，我看到师傅熟练的拉扯一小块面团，拉至细长条，然后放入油锅中，不一会功夫，一根屎黄色的油条便出锅了，卖相不错。我在想，小到炸屎黄色的油条，大到学习，其实都是一个熟能生巧的过程。数据仓库系列文章(持续更新)数仓架构发展史数仓建模方法论数仓建模分层理论数仓建模—宽表的设计数仓建模—指标体系

数据仓库

数据库

大数据

java

人工智能

原创 2022-03-30 18:44:29 10000+阅读

Hive SQL优化思路

后台回复【加群】，申请加入优质大数据学习社群Hive的优化主要分为：配置优化、SQL语句优化、任务优化等方案。其中在开发过程中主要涉及到的可能是SQL优化这块。优化的核心思想是：减少数据量（例如分区、列剪裁）避免数据倾斜（例如加参数、Key打散）避免全表扫描（例如on添加加上分区等）减少job数（例如相同的on条件的join放在一起作为一个任务）HQL语句优化1. 使用分区剪裁、列剪裁在分区剪裁中

mysql

java

数据库

hive

spark

转载 2022-03-30 15:18:52 10000+阅读

最好的Docker入门教程，一万字总结（建议收藏）

前言大家好，我是林哥！2021年以来，云原生、云计算时代的趋势已经在渐渐的铺开了，这些都与 Dokcer + K8S 两个技术的盛行分不开。今天。林哥给大家总结一波 Docker 学习笔记！其中包含以下几个方面：本文概览 1.什么是 Docker？在给大家介绍什么是 Docker 前，先给大家讲讲为什么会有 docker 出现？为什么会有 Docker？一款产品从开发到上线，从操作系统，

运维

docker

大数据

编程语言

python

转载 2022-03-18 13:46:32 10000+阅读

数仓建模—埋点设计与管理

数据仓库系列文章(持续更新)数仓架构发展史数仓建模方法论数仓建模分层理论数仓建模—宽表的设计数仓建模—指标体系数据仓库之拉链表数仓—数据集成数仓—数据集市数仓—商业智能系统数仓—埋点设计与...

大数据

编程语言

数据库

python

机器学习

原创 2022-03-03 16:17:30 10000+阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

wx60dacb4325b51的博客