蜡笔小新v的博客_Flink

Flink重点难点：Flink任务综合调优(Checkpoint/反压/内存)

在阅读本文之前，你应该阅读过的系列：《Flink重点难点：时间、窗口和流Join》《Flink重点难点：网络流控和反压》《Flink重点难点：维表关联理论和Join实战》《Flink重点难...

大数据

分布式

数据库

python

人工智能

原创 2021-11-19 15:32:32 7634 阅读 1点赞

StreamingFileSink压缩与合并小文件

爬虫

面试

自然语言处理

数据

压缩算法

转载 2021-09-16 10:15:19 575 阅读

任务日志收集

声明：本系列博客部分是根据SGG的视频整理而成，非常适合大家入门学习。部分文章是通过爬虫等技术手段采集的，目的是学习分享，如果有版权问题请留

爬虫

面试

自然语言处理

kafka

flink

转载 2021-09-09 17:45:56 337 阅读

Redis维表关联：实时查询

声明：本系列博客部分是根据SGG的视频整理而成，非常适合大家入门学习。部分文章是通过爬虫等技术手段采集的，目的是学习分享，如果有版权问题请留

redis

面试

爬虫

ide

kafka

转载 2021-09-09 15:23:31 679 阅读

Flink SQL 中TableFunction使用分析

flink

sql

爬虫

json

动态生成

转载 2021-09-08 15:45:57 132 阅读

Flink实战(130)Flink之你应该了解的Watermark

声明：本系列博客部分是根据SGG的视频整理而成，非常适合大家入门学习

flink

爬虫

big data

数据

流处理

转载 2021-09-01 17:54:12 828 阅读

Flink per-Job模式InfluxdbReporter上报JobName

声明：本系列博客部分是根据SGG的视频整理而成，非常适合大家入门学习

flink

爬虫

面试

ide

自动生成

转载 2021-09-01 16:24:39 623 阅读

Clickhouse LB实践

声明：本系列博客部分是根据SGG的视频整理而成，非常适合大家入门学习。部分文章是通

爬虫

面试

自然语言处理

nginx

sed

转载 2021-09-01 14:39:54 670 阅读

自定义RetractStreamTableSink

声明：本系列博客部分是根据SGG的视频整理而成，非常适合大家入门

爬虫

面试

自然语言处理

数据

kafka

转载 2021-09-01 14:38:57 58 阅读

记一次Flink写入Kafka坑点

声明：本系列博客部分是根据SGG的视频整理而成

kafka

flink

big data

数据

序列化

转载 2021-09-01 14:38:27 302 阅读

自定义UpsertStreamTableSink

声明：本系列博客部分是根据SGG的视频整理而成，非

爬虫

面试

自然语言处理

ide

kafka

转载 2021-09-01 14:37:45 77 阅读

自定义metric监控流入、输出量

声明：本系列博客部分是根据SGG的视频整理而成，非常适合大家入门学习

爬虫

面试

自然语言处理

kafka

flink

转载 2021-09-01 14:34:40 82 阅读

并行度改变引发的血案

声明：本系列博客部分是根据SGG的视频整理而成，非常适合大家入门学

爬虫

面试

数据

并行度

mysql

转载 2021-09-01 14:34:21 75 阅读

Flink SQL自定义聚合函数

flink

sql

爬虫

数据

聚合函数

转载 2021-09-01 14:12:30 285 阅读

Flink DataStream中CoGroup实现原理与三种 join 实现

class Order(id:String, gdsId:String, amount:Double)case clas

flink

爬虫

big data

kafka

数据

转载 2021-08-31 11:52:34 191 阅读

关于bitmap的使用总结

声明：本系列博客部分是根据SGG的视频整理而成，非常适合大家入门学习。部分文章是通过爬虫等技术手段采集的，目的是学习分享，如果有版权问题请留言，随时删除。《2021年最新版大数据面试题全面开启更新》 BitMap Bitmap 是大数据里面常见的数据结构，简单来说就是按位存储，为了解决在去重场景里面大数据量存储问题，目前在Druid/Spark等使用。在Java中一个字节占用8位，那么就代

爬虫

面试

自然语言处理

数据

内部存储

转载 2021-08-31 11:51:24 253 阅读

Flink intervalJoin 使用与原理分析

声明：本系列博客部分是根据SGG的视频整理而成，非常适合大家入门学习。部分文章是通过爬虫等技术手段采集的，目的是学习分享，如果有版权问题请留

flink

爬虫

面试

数据

kafka

转载 2021-08-31 11:51:02 256 阅读

自定义异步查询

声明

爬虫

面试

sql

线程池

ide

转载 2021-08-31 11:28:27 83 阅读

Flink join终结者：SQL Join

声明：本系列博客部分是根据SGG的视频整理而成，非常适合大家入门学习。部分文章是通过爬虫等技术手段采集的，目的是学习分享，如果有版权问题请留言，随时删除。《2021年最新版大数据面试题全面开启更新》SQL是开发人员与数据分析师必备的技能，Flink也提供了Sql方式编写任务，能够很大程度降低开发运维成本，这篇是flink join的终极篇SQL Join,

flink

sql

爬虫

数据

ide

转载 2021-08-31 10:54:14 75 阅读

Flink去重第二弹：SQL方式

声明：本系列博客部分是根据SGG的视频整理而成，非常适合大家入门学习。部分文章是通过爬虫等技术手段采集的，目的是学习分享，如果有版权问题请留言，随时删除。《2021年最新版大数据面试题全面开启更新》本篇介绍如何使用sql方式完成去重。为了与离线分析保持一致的分析语义，Flink SQL 中提供了distinct去重方式，

flink

sql

爬虫

聚合函数

数据

转载 2021-08-31 10:53:43 128 阅读

Kafka维表关联：广播方式

声明：本系列博客部分是根据SGG的视频整理而成，非常适合大家入门学习。部分文章是通过爬虫等技术手段采集的，目的是学习分享，如果有版权问题请留言，随时删除。《2021年最新版大数据面试题全面开启更新》Flink中广播状态假设存在这样一种场景，一个是用户行为数据，一个是规则数据，要求通过规则去匹配用户行为找到符合规则的用户

kafka

big data

面试

数据

flink

转载 2021-08-31 10:51:28 155 阅读

窗口TopN分析与实现

声明：本系列博客部分是根据SGG的视频整理而成，非常适合大家入门学习。部分文章是通过爬虫等技术手段采集的，目的是学习分享，如果有版权问题请留言，随时删除。《2021年最新版大数据面试题全面开启更新》TopN 的需求场景不管是在离线计算还是实时计算都是比较常见的，例如电商中计算热门销售商品、广告计算中点击数前N的广告、搜索中计算搜索次数前N的搜索词

爬虫

面试

自然语言处理

数据

ide

转载 2021-08-31 10:51:07 152 阅读

Flink-Cep实现规则动态更新

声明：本系列博客部分是根据SGG的视频整理而成，非常适合大家入门学习。部分文章是通过爬虫等技术手段采集的，目的是学习分享，如果有版权问题请留言，随时删除。《2021年最新版大数据面试题全面开启更新》规则引擎通常对我们的理解就是用来做模式匹配的，在数据流里面检测满足规则要求的数据。有人会问为什么需要规则动态变更呢？直接修改了规则把服务重启一下不就可以了吗，这个当然是不行的，

flink

爬虫

面试

加载

数据

转载 2021-08-31 10:50:50 413 阅读

Flink去重第一弹:MapState去重

声明：本系列博客部分是根据SGG的视频整理而成，非常适合大家入门学习。部分文章是通过爬虫等技术手段采集的，目的是学习分享，如果有版权问题请留言，随时删除。《2021年最新版大数据面试题全面开启更新》去重计算应该是数据分析业务里面常见的指标计算，例如网站一天的访问用户数、广告的点击用户数等等，离线计算是一个全量、一次性计算的过程通常可以通过distinct的方式得到去重结果

flink

爬虫

面试

数据

kafka

转载 2021-08-31 10:50:20 188 阅读

Flink去重第三弹：HyperLogLog去重

声明：本系列博客部分是根据SGG的视频整理而成，非常适合大家入门学习。部分文章是通过爬虫等技术手段采集的，目的是学习分享，如果有版权问题请留言，随时删除。《2021年最新版大数据面试题全面开启更新》HyperLogLog算法也就是基数估计统计算法，预估一个集合中不同数据的个数，也就是我们常说的去重统计，在redis中也存在hyperloglog 类型的结构，

flink

爬虫

面试

perl

kafka

转载 2021-08-31 10:49:52 657 阅读

关于hyperloglog去重优化

声明：本系列博客部分是根据SGG的视频整理而成，非常适合大家入门学习。部分文章是通过爬虫等技术手段采集的，目的是学习分享，如果有版权问题请留言，随时删除。《2021年最新版大数据面试题全面开启更新》在HyperLogLog去重实现中，如果要求误差在0.001以内，那么就需要1048576个int, 也就是会消耗4M的存储空间，但是在实际使用中有很多的维度的统计是达不到这个数据量，

爬虫

面试

自然语言处理

perl

数据

转载 2021-08-31 10:49:36 204 阅读

编码方式实现Split Distinct Aggregation功能

声明：本系列博客部分是根据SGG的视频整理而成，非常适合大家入门学习。部分文章是通过爬虫等技术手段采集的，目的是学习分享，如果有版权问题请留言，随时删除。《2021年最新版大数据面试题全面开启更新》前言去重指标作为业务分析里面的一个重要指标，不管是在OLAP存储引擎还是计算引擎都对其实现做了大量工作，在面对不同的数据量、指标精确性要求

爬虫

面试

自然语言处理

转载 2021-08-31 10:49:21 67 阅读

从需求场景下出发实操Clickhouse

声明：本系列博客部分是根据SGG的视频整理而成，非常适合大家入门学习。部分文章是通过爬虫等技术手段采集的，目的是学习分享，如果有版权问题请留言，随时删除。《2021年最新版大数据面试题全面开启更新》背景本着以实时数仓为目标调研了几款OLAP引擎，像Clickhouse、Kylin、Druid等，在粗略了解其架构后，并且在接受各个大厂Clickhous

面试

爬虫

自然语言处理

数据

字段

转载 2021-08-31 10:48:58 81 阅读

Flink: 两个递归彻底搞懂operator chain

声明：本系列博客部分是根据SGG的视频整理而成，非常适合大家入门学习。部分文章是通过爬虫等技术手段采集的，目的是学习分享，如果有版权问题请留言，随时删除。《2021年最新版大数据面试题全面开启更新》operator chain是指将满足一定条件的operator 链在一起，放在同一个task里面执行，是Flink任务优化的一种方式，

flink

爬虫

面试

函数调用

数据

转载 2021-08-31 10:48:18 107 阅读

Flink1.10任务提交流程分析(一)

声明：本系列博客部分是根据SGG的视频整理而成，非常适合大家入门学习。部分文章是通过爬虫等技术手段采集的，目的是学习分享，如果有版权问题请留言，随时删除。《2021年最新版大数据面试题全面开启更新》Flink任务常见的提交方式通过flink run命令方式提交，如果我们想自己通过API方式实现任务提交，那么就需要了解flink run执行过程，本篇主要透过源码分析其提交流程

爬虫

面试

自然语言处理

flink

jar

转载 2021-08-31 10:47:51 119 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	在线客服	网站地图	意见反馈

开源基础软件社区	51CTO学堂
51CTO	汽车开发者社区

51CTO博客

9918699

Flink重点难点：Flink任务综合调优(Checkpoint/反压/内存)

StreamingFileSink压缩与合并小文件

任务日志收集

Redis维表关联：实时查询

Flink SQL 中TableFunction使用分析

Flink实战(130)Flink之你应该了解的Watermark

Flink per-Job模式InfluxdbReporter上报JobName

Clickhouse LB实践

自定义RetractStreamTableSink

记一次Flink写入Kafka坑点

自定义UpsertStreamTableSink

自定义metric监控流入、输出量

并行度改变引发的血案

Flink SQL自定义聚合函数

Flink DataStream中CoGroup实现原理与三种 join 实现

关于bitmap的使用总结

Flink intervalJoin 使用与原理分析

自定义异步查询

Flink join终结者：SQL Join

Flink去重第二弹：SQL方式

Kafka维表关联：广播方式

窗口TopN分析与实现

Flink-Cep实现规则动态更新

Flink去重第一弹:MapState去重

Flink去重第三弹：HyperLogLog去重

关于hyperloglog去重优化

编码方式实现Split Distinct Aggregation功能

从需求场景下出发实操Clickhouse

Flink: 两个递归彻底搞懂operator chain

Flink1.10任务提交流程分析(一)