背景说明 线上业务反应使用 Flink 消费上游 kafka topic 里的轨迹数据出现 backpressure，数据积压严重。单次 bulk 的写入量为：3000/50mb/30s，并行度为 48。针对该问题，为了避免影响线上业务申请了一个与线上集群配置相同的 ES 集群。本着复现问题进行优化就能解决的思路进行调优测试。 测试环境 Elasticsearch 2.3.3Flink 1
转载
2024-01-27 19:58:58
132阅读
我们都知道Flink在流式处理上性能强大，且很好地支持ExactlyOnce语义；且这也是Flink核心的技术点，所以成为面试官喜欢追问的一个话题：Flink恰巧语义一次消费，怎么保证？ 在这个思维导图进行了详细的描述及说明。欢迎阅读及下载超全干货--Flink思维导图，花了3周左右编写、校对上述思维导图中也进行了详细地描述：Flink_思维导图（干货）.xm
转载
2024-04-29 12:17:14
53阅读
罗列Flink基础相关的题。1：请介绍一下 Flink。考察我们队 Flink 整体的掌握情况，我们应该从以下几个基本的概念入手。Flink 是大数据领域的分布式实时和离线计算引擎，其程序的基础构建模块是流（Streams）和转换（Transformations），每一个数据流起始于一个或多个 Source，并终止于一个或多个 Sink。数据流类似于有向无环图（DAG）。Fli
flink学习总结1.Flink是什么？ Apache Flink 是一个框架和分布式处理引擎，用于处理无界和有界数据流的状态计算。 2.为什么选择Flink？ 1.流数据更加真实的反映了我们的生活方式。 2.传统的数据架构是基于有限的数据集 3.Flink 可以做到 低延迟，高吞吐，结果的准确性和良好的容错性 3.Flink的主要特点： 1.事件驱动 2.基于流的
转载
2024-03-25 22:19:59
99阅读
Flink Streaming ConnectorFlink是新一代流批统一的计算引擎，它需要从不同的第三方存储引擎中把数据读过来，进行处理，然后再写出到另外的存储引擎中。Connector的作用就相当于一个连接器，连接Flink计算引擎跟外界存储系统。Flink里有以下几种方式，当然也不限于这几种方式可以跟外界进行数据交换： 【1】Flink里面预定义了一些source和sink； 【2】Fli
转载
2024-08-07 08:42:48
108阅读
虚拟机的语句详解：1.zookeeper启动：zkServer.sh start
zkServer.sh start
zkServer.sh status
zkCli.sh
2.kafka
kafka-server-start.sh /usr/local/apps/kafka/config/server.properties
kafka如何创建topic：
3.flink操作语句
进入cd
转载
2024-05-24 12:49:40
71阅读
1. 小知识1.可以做离线和实时但是侧重于实时，flink绝对的一条条处理 2.流处理：数据具体大小未知，进行简单操作，及时响应不会结束 批处理：数据大小固定，可以进行复杂操作，需要离线处理 3.为了统一API，flink中数据都视为流，同一套代码可以进行流批处理统一 无界流：有开始没有定义结束，持续处理无界流，在摄取事件后立即处理事件，需要按照事件发生的顺序处理事件 有界流：有定义开始和结束，在
转载
2024-04-05 18:49:06
78阅读
业务：首先使用flink从kafka中获取消息，这个消息对应着一个关于直播间的具体信息，当然过来的是一个JSON；之后对数据进行流式处理，存入clickhouse；最后通过kafka将数据更新的情况传递给下游服务。main方法：流式处理直接用main启动，自己就跟那儿跑，但是遇到报错会停止；并行度这块儿可以按需设置；execute方法必须执行，不写运行不了。public static void m
转载
2024-03-20 14:12:21
158阅读
前言前面 FLink 的文章中我们已经介绍了说 Flink 已经有很多自带的 Connector。1、《从0到1学习Flink》—— Data Source 介绍 2、《从0到1学习Flink》—— Data Sink 介绍其中包括了 Source 和 Sink 的，后面我也讲了下如何自定义自己的 Source 和 Sink。那么今天要做的事情是啥呢？就是介绍一下 Flink 自带的 E
1、《从0到1学习Flink》—— Data Source 介绍2、《从0到1学习Flink》—— Data Sink 介绍其中包括了 Source 和 Sink 的，后面我也讲了下如何自定义自己的 Source 和 Sink。那么今天要做的事情是啥呢？就是介绍一下 Flink 自带的 ElasticSearch Connector，我们今天就用他来做 Sink，将 Kafka 中的数据经过 Fl
Flink数据下沉到Elasticsearch示例简介 当初做课程设计的时候，找到的flink接入elasticsearch的文章除了flink的文档示例之外版本都挺老的，所以自己按照flink的文档把原来的改造了一下。现在再更新最新版本，然后做一下整理。 最新版本flink1.12，scala2.12.7，elasticsearch7.10.1，kibana7.10.1。flink1.10更
转载
2024-03-07 13:06:48
515阅读
在应用、运维flink集群/作业时，我们需要通过各种flink的运行指标来了解集群/作业的运行状态，必要的时候还会针对关键指标设置监控告警。Flink Web Ui虽然在界面上提供了运行指标入口，但在应用上还是有不少不便之处： 1、每次查看指标时都要重新筛选关注的指标，不能模板化保存。 2、可以查看的数据周期有限，无法进行指标回溯或跟踪。 3、未与监控工具集成，不能告警。 在生产应用时，我们一般把
转载
2024-04-22 10:48:36
88阅读
HADOOP都是使用StreamingFileSink，那么有什么区别？： 区别主要在写文件策略： 2.6及以前： OnCheckpointRollingPolicy 2.7： OnCheckpointRollingPolicy和 DefaultRollingPolicy 为什么2.7以前的版本不支 ...
转载
2021-09-30 11:58:00
563阅读
2评论
在本篇博文中，我将深入探讨如何通过 Apache Flink 将数据写入 HBase，涵盖过程中的多个方面，包括环境检测、部署架构、安装过程、依赖管理、服务验证和版本管理。希望通过这样的整理，能够有效帮助有需要的读者。
### 环境预检
在搭建 Flink 和 HBase 的环境之前，首先需要进行环境预检。我们需要确保相关的硬件配置和软件依赖都已准备就绪。
```mermaid
mindmap
在HDFS中，租约机制是用来管理文件的写入和编辑操作的一种机制。租约机制包括主租约和副租约两种类型。 主租约是由文件的创建者持有的，它控制着文件的写入和编辑权限。创建者在写入或编辑文件时，需要先获取主租约。一旦获取到主租约，创建者可以将数据写入文件，并且其他用户无法对该文件进行写入或编辑操作。主租约的持有者可以选择将租约延长，以延续对文件的写入和编辑权限。 副租约是由其他用户持有的，它允许持有者以
分布式计算平台Spark：基础入门 文章目录分布式计算平台Spark：基础入门一、课程二、目标三、Spark的起源与发展1、分布式计算发展2、Spark诞生与发展3、Spark功能与特点4、应用场景四、Spark环境部署测试1、版本与编译2、部署模式3、架构组成4、本地模式（Local）5、集群模式（Standalone）6、HA集群五、Spark应用组成1、应用组件2、Web监控六、开发环境搭建
转载
2024-09-18 15:15:55
78阅读
**Flink写HBase**
在实时流处理领域，Apache Flink是一个强大且灵活的开源框架。而HBase则是一个可扩展的分布式数据库，可以处理大规模数据。本文将介绍如何使用Flink将实时流数据写入HBase，并提供代码示例。
### Flink写HBase的流程
下面的流程图展示了Flink写HBase的整个过程：
```mermaid
flowchart TD
start(
原创
2023-11-20 07:09:40
202阅读
行存VS列存广义的数据分析系统大致分为可以分为计算层、数据格式层和存储层。 计算层主要负责数据查询的介入和各种逻辑计算，如：MR、Spark、Flink。 存储层承载数据持久化存储，以文件语义或类似文件语义(对象存储)对接计算层。 数据格式层：定义了存储层文件的组织格式，计算层通过格式层来读写文件。严格来说并不算一个独立的层级，而是计算层上的一个Lib行存将相同行数据连续存储，因此具有更高的整行数
调优好多次，次次都达不到理想状态，这次有不一样的收获，记录一下，以示庆祝！调优分两个大致的方向吧，一个是对 ELK 集群进行调优，其中包括 ES 的性能调优，Logstash 数据读入时调用 bulk API 时的一些参数调优。另一方面，对数据本身的 mappings，field 做调优，远比想象中效率要提高很多。应用场景KFK -> Logstash -> ES官方建议本文主要参考官
转载
2023-12-03 07:24:11
295阅读
# 如何使用Python写Flink应用
## 简介
在本文中，我将指导你如何使用Python编写Flink应用程序。我们将探讨整个过程，并给出每个步骤所需的代码示例和解释。Python是一种简单易用的编程语言，而Flink是一个强大的流处理框架，通过将它们结合起来，你可以轻松地构建高效的数据流处理应用。
## 整体流程
下面是使用Python编写Flink应用程序的整体流程。我们将按照这
原创
2023-11-04 03:36:19
80阅读
