1. 介绍流处理是通过在数据运动时对数据应用逻辑来创造商业价值。很多时候，这涉及组合数据源以丰富数据流。Flink SQL 执行此操作并将您应用于数据的任何函数的结果定向到接收器中。业务用例，例如欺诈检测、广告印象跟踪、医疗保健数据丰富、增加财务支出信息、GPS 设备数据丰富或个性化客户通信，都是使用蜂巢表来丰富数据流的很好的例子。 因此，Hive 表与 Flink SQL 有两种常见的用例：
转载
2023-08-18 16:48:12
119阅读
# HiveSQL支持循环语法吗？
在大数据领域，Hive是一种基于Hadoop的数据仓库基础架构，用于处理大规模的结构化数据。Hive提供了类似于SQL的查询语言，称为HiveQL或Hive SQL，用于对数据进行操作和分析。然而，与传统的SQL相比，HiveSQL在语法和功能上有一些不同之处。其中一个常见的问题是，HiveSQL是否支持循环语法？
## HiveQL的优势和局限性
在介绍
原创
2023-08-14 11:29:25
196阅读
# Hive SQL 不支持递归的实现
Hive SQL是一个基于Hadoop的 数据仓库工具，虽然它提供了强大的数据处理能力，但遗憾的是，它不直接支持递归查询。然而，我们依然可以使用分步执行和临时表的方式来实现类似递归的功能。本文将详述整个流程，包括步骤表、代码示例及说明。
## 整体流程
在实现非递归的查询时，我们会使用多次的查询进行数据的逐步汇总。这个过程包含以下几个步骤：
| 步骤
原创
2024-09-05 06:17:52
51阅读
对于Hibernate的主键相关问题：hibernate的主键生成有8中方式，下面一一列举这几种方式：（1）increment，自增策略：在每一次新增数据的时候，新纪录的主键是之前数据的主键最大值+1。缺点：我们尽量不要使用increment这种方式，因为它有严重的并发性访问的问题。事例：<generator class="increment"></generator>（2
FlinkSpark分实时部分和离线部分，Flink还是替代不了离线部分，Spark和Hive可以无缝整合，Flink暂时还达不到，还没有官方的支持，实时部分和Spark平起平坐特点：事件驱动型以事件为单位的计算，一件事一件事的处理，kafka的通道里的单元，flume的channel里的event也是，SparkStreaming是微批次，数据进入spark的时候会定义一个批次的时间，是以时间为
转载
2024-01-21 08:20:53
67阅读
I.前言前两天转了章大的zeppelin系列教程（以下简称“教程”），我也好好的研究学习了一波。我曾无数次鼓吹基于Jupyter的应用，也相信在未来数据分析领域，他会有自己的一席之地. 对话式的管家服务，真是谁用谁知道...以下内容摘自“教程”：下面是Zeppelin和Flink的故事。Flink问：虽然我提供了多种语言支持，有SQL，Java，Scala还有Python，但是每种语言都有自己的入
简介Alluxio 是世界上第一个虚拟的分布式存储系统，以内存速度统一了数据访问。 它为计算框架和存储系统构建了桥梁，使应用程序能够通过一个公共接口连接到许多存储系统。 Alluxio以内存为中心的架构使得数据的访问速度能比现有方案快几个数量级。 简单来说，Alluxio是一个分布式文件系统，是数据驱动框架或应用如 Apache Spark、Presto、Tensorflow、Apache HBa
转载
2024-03-22 08:53:25
55阅读
抽象
LeaderElectionService
这个接口用于从一组竞选者中选出一个leader，其start方法需要传递一个LeaderContender竞选者作为参数，如果有多个竞选者，则每一个竞选者都需要拥有自己的竞选服务类。
LeaderContender
需要竞选leader的候选者们需要实现本接口，即flink中所有需要进行leader选举的组件均会实现本接口。
LeaderRetri
转载
2024-06-01 00:00:03
53阅读
# Hivesql 支持sum多个key的实现方法
## 介绍
在Hive中，SUM函数用于对指定列的数值进行求和操作。但是在某些情况下，我们可能需要同时对多个列进行求和。本文将介绍如何在HiveSQL中实现对多个key进行求和操作。
## 实现步骤
下面是整个流程的步骤表格：
| 步骤 | 操作 |
| ---- | ---- |
| 步骤1 | 创建Hive表 |
| 步骤2 | 导入
原创
2023-12-20 13:12:48
38阅读
# 解决HiveSQL不支持双引号的问题
作为一名经验丰富的开发者，我将为你解决HiveSQL不支持双引号的问题。首先，我们来了解整个解决过程的步骤，然后我将逐步指导你如何实现。
## 解决步骤
下表是解决HiveSQL不支持双引号的问题的步骤：
| 步骤 | 描述 |
| --- | --- |
| 步骤一 | 创建一个自定义函数 |
| 步骤二 | 使用自定义函数替换双引号 |
| 步
原创
2024-01-17 10:59:57
75阅读
11. Flink任务延迟高，想解决这个问题，你会如何入手？在Flink的后台任务管理中，我们可以看到Flink的哪个算子和task出现了反压。最主要的手段是资源调优和算子调优。资源调优即是对作业中的Operator的并发数（parallelism）、CPU（core）、堆内存（heap_memory）等参数进行调优。作业参数调优包括：并行度的设置，State的设置，checkpoint的设置。1
转载
2023-11-28 15:39:26
43阅读
flink的运行其实不需要这些，但是如果需要模拟一些业务场景，就需要依赖zk、kafka等中间件，下面记录一些安装、配置的简要内容。 由于公司机器是win10，这边的操作都是基于win环境的，linux下可能稍有改动。安装zk：下载地址：zookeeper.apache.org/releases.html下载后，解压放在目录D:bigdata(本文所用的目录)下，关于zookeeper以
转载
2024-02-27 10:28:14
76阅读
1 IDEA中运行Flink从Flink 1.11版本开始, PyFlink 作业支持在 Windows 系统上运行，因此您也可以在 Windows 上开发和调试 PyFlink 作业了。1.1 环境配置pip3 install apache-flink==1.15.3
CMD>set PATH查看环境变量
CMD>set JAVA_HOME查看环境变量
JAVA_HOME=D:\Ja
转载
2023-08-11 15:47:24
179阅读
专栏目标通过一个代码样例开始使用pyflink通过阅读pyflink的源码，逐步了解flink的python接口实现本文使用的flink版本和pyflink版本基于1.10.1初识Flinkflink作为当前最流行的流批统一的数据计算处理框架，其开箱即用的部署方式(standalone)对于刚刚接触flink的人来说是非常友好和吸引人的。你可以通过地址找到你想要的版本，也可以直接下载编译好的包来进
转载
2023-07-17 19:46:50
148阅读
目录 窗口类型窗口的实现方式1、Tumbling Time Window 翻滚时间窗口2、Sliding Time Window 滑动时间窗口3、Tumbling Count Window 翻滚计数窗口4、Session Window 会话窗口窗口类型1. flink支持两种划分窗
转载
2024-05-02 17:03:03
140阅读
前言Flink 1.9 版本开源了很多 Blink 方面的功能，尤其是在 SQL 方面，这使得我们在开发 Flink 实时任务变得更加方便。目前 Blink SQL 支持了 Create Table 功能，以及维表的功能。我们的实时任务整体流程为，读取Kafka的数据，然后去关联 HBase 维表的数据，最后在输出到 Kafka 中，虽然整体流程跑通，但是其中也遇到了很多坑，这里记录一下，和大家一
转载
2024-02-09 21:22:25
40阅读
目录使用Python依赖使用自定义的Python虚拟环境方式一：在集群中的某个节点创建Python虚拟环境方式二：在本地开发机创建Python虚拟环境使用JAR包使用数据文件使用Python依赖通过以下场景为您介绍如何使用Python依赖：使用自定义的Python虚拟环境使用第三方Python包使用JAR包使用数据文件使用自定义的Python虚拟环境方式一：在集群中的某个节点创建Python虚拟环
转载
2024-06-27 15:47:44
41阅读
一、KafkaSink1、按流内容分发到对应topic，隔天自动切换在flink自带的kafka sink实现里，只支持写到固定topic，而我们的kafka2kafka日志处理逻辑要求消息要按照ds字段值写入到对应topic，topic名前缀相同，后面跟ds字段值，需要进行改造具体实现思路如下：（1）由如下源码可知KeyedSerializationSchema对象才能赋值schema，从而可以
转载
2024-06-03 15:34:50
48阅读
Flink DataStream WindowWindows是处理无限流的核心。Windows将流拆分为有限大小的"桶"，这样可以在Window中进行聚合操作。窗口的生命周期：一般当第一个元素到达时，创建窗口，当（处理时间或事件时间）时间大于等于其结束的时间，窗口进行触发计算，计算结束后，窗口将完全删除。1. Window的分类Window可以分为2类，分别为：Keyed Windows（通过Ke
转载
2024-03-30 09:01:09
24阅读
在Apache Flink中，Python是一种流行的编程语言，许多开发者喜欢使用Python来编写Flink的应用程序。在最新的Flink版本中，官方提供了对Python的支持，使开发者可以使用Python来编写Flink的作业。
下面我将向你介绍如何在Flink中使用Python，以及如何实现"flink支持python吗"这个问题。
### Flink支持Python的流程
在Flin
原创
2024-05-29 10:53:21
140阅读
