众所周知，flink是有状态的计算。所以学习flink不可不知状态。 正好最近公司有个需求，要用到flink的状态计算，需求是这样的，收集数据库新增的数据。 听起来很简单对吧？起初我也这么认为，现在发现，这尼玛就是变相的动态读取啊。
转载
2023-07-27 19:48:29
77阅读
1、窗口API1,1、按键分区（Keyed）和非按键分区（Non-Keyed）在定义窗口操作之前，首先需要确定，到底是基于按键分区（Keyed）的数据流KeyedStream来开窗，还是直接在没有按键分区的DataStream上开窗。也就是说，在调用窗口算子之前，是否有keyBy操作。按键分区窗口（Keyed Windows）经过按键分区keyBy操作后，数据流会按照key被分为多条逻辑流（log
转载
2023-07-11 17:24:57
49阅读
之前我们聊了Flink程序的source、sink就差transformation了。今天我们就来解读一下Flink的transformation。它们三者的关系如下图：当然这还是从Flink编程API的角度来看的（编程视角）。所谓的transformation，用于转换一个或多个DataStream从而形成一个新的DataStream对象。Flink提供编程接口，允许你组合这些transform
转载
2024-07-24 12:43:03
28阅读
# 从 Hive 迁移到 Doris 的步骤指南
随着大数据技术的不断发展，许多公司开始寻找更加高效且易于操作的数据处理框架。在这个过程中，Apache Doris 作为一个新的 OLAP 数据库，逐渐被引入来取代 Hive。本文将指导你如何实现“Doris 取代 Hive”的流程，并提供具体的代码示例和注释。
## 迁移流程
下面是从 Hive 迁移到 Doris 的基本步骤。我们用表格展
一提到大数据，多半绕不开Spark 和 Flink。Spark用一个统一的引擎支持批处理、流处理、交互式查询、机器学习等常见的数据处理场景，适应性极广，但数据流计算上表现稍弱，而Flink的出现很好地弥补了这一不足。本文对 Spark 和 Flink 的技术与场景进行了全面分析与对比，且看下一代大数据计算引擎之争，谁主沉浮？自从数据处理需求超过了传统数据库能有效处理的数据量之后，Hadoop
转载
2023-11-29 08:47:23
46阅读
Flink写入hive 的问题记录背景：Flink读取Kafka数据写入hive需要添加的依赖配置文件常见报错写入parquet依赖冲突 背景：Flink读取Kafka数据写入hive两种方式 1、flink 0.9版本以上支持 table api直接写入hive 方式，需要使用hivecatalog，可以参考官方文档示例 2、flink写入 hdfs文件，需要小文件合并以及手动添加分区元数据
转载
2023-08-18 16:34:24
172阅读
修改hive配置案例讲解引入相关的pom构造hive catalog创建hive表将流数据插入hive，遇到的坑问题详解修改方案修改hive配置上一篇介绍了使用sql将流式数据写入文件系统，这次我们来介绍下使用sql将文件写入hive,对于如果想写入已经存在的hive表，则至少需要添加以下两个属性. 写入hive底层还是和写入文件系统一样的，所以对于其他具体的配置参考上一篇.alter
转载
2023-08-24 08:40:05
121阅读
摘要:Storm的编程模型是一个有向无环图，决定了storm的spout接收到外部系统的请求后，spout并不能得到bolt的处理结果并将结果返回给外部请求。所以也就决定了storm无法提供对外部系统的同步调用功能。 最近新的黑名单项目需要在storm实时计算平台上提供对外部系统请求调用的同步响应(也就是让storm支持同步调用而不是回调)，而Storm的编程模型是一个有向无环图，也就决定了
Doris–基础–1.3–理论–架构1、名词1.1、FE(Frontend)Doris 的前端节点。开发语言：以 Java 为主功能
接收和返回 客户端请求元数据 管理集群 管理生成 查询计划1.2、BE(Backend)Doris 的后端节点。开发语言：以 C++ 为主功能：
负责 数据存储负责 数据管理执行 查询计划1.3、Tablet是一张表，是实际的物理存储单元
一张表按
转载
2024-05-15 21:53:36
120阅读
自从今年鼎石科技公开了自家的DorisDB后（相关视频见B站）， Apache Doris 在社区中掀起了一波热潮， 我也跟风来学习一下，相关总结与大家分享。首先简单的说下啥是Doris吧，Doris是一个基于mpp的交互式SQL数据仓库，是一个面向多种数据分析场景的、 兼容MySQL协议的， 高性能的， 分布式关系型列式数据库，用于报告和分析。它最初的名字是Palo，由百度开发。在于2018年捐
转载
2023-10-24 21:44:53
343阅读
文章目录前言数据流处理hive基本信息获取流、批判断写入格式判断构造分区提交算子详解StreamingFileWriter简述StreamingFileSink分区信息提交提交分区算子分区提交触发器分区提交策略总结 前言前段时间我们讲解了flink1.11中如何将流式数据写入文件系统和hive [flink 1.11 使用sql将流式数据写入hive]，今天我们来从源码的角度深入分析一下。以便朋
转载
2023-08-21 10:44:44
196阅读
标题: ‘说说Flink的连接器connector有哪些,怎么用?’ 日期: 2021-07-31 10:26:51 标签: [flink,connector] 分类: 数据仓库flink作为一个计算引擎，是缺少存储介质的，那么数据从哪儿来，到哪儿去，就需要连接器了，链接各种类型数据库，各种类型组件进行数据的抽取、计算、存储等，下面来看看flink都有哪些connector，怎么使用的？介绍看看目
转载
2023-08-21 11:18:45
131阅读
数仓架构离线数仓传统的离线数仓是由 Hive 加上 HDFS 的方案，Hive 数仓有着成熟和稳定的大数据分析能力，结合调度和上下游工具，构建一个完整的数据处理分析平台，流程如下：Flume 把数据导入 Hive 数仓调度工具，调度 ETL 作业进行数据处理在 Hive 数仓的表上，可以进行灵活的 Ad-hoc 查询调度工具，调度聚合作业输出到BI层的数据库中这个流程下的问题是：导入过程不够灵活，
转载
2023-08-02 17:20:13
162阅读
分布式流处理需求日益增加，包括支付交易、社交网络、物联网（IOT）、系统监控等。业界对流处理已经有几种适用的框架来解决，下面我们来比较各流处理框架的相同点以及区别。
分布式流处理是对无边界数据集进行连续不断的处理、聚合和分析。它跟MapReduce一样是一种通用计算，但我们期望延迟在毫秒或者秒级别。这类系统一般采用有向无环图（DAG）。
DAG是任务链的
“数据智能” (Data Intelligence) 有一个必须且基础的环节，就是数据仓库的建设，同时，数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务。从智能商业的角度来讲，数据的结果代表了用户的反馈，获取结果的及时性就显得尤为重要，快速的获取数据反馈能够帮助公司更快的做出决策，更好的进行产品迭代，实时数仓在这一过程中起到了不可替代的作用。本文主要讲述知乎的实时数仓实践
转载
2024-06-05 00:30:35
103阅读
# Hive Flink实现教程
## 1. 简介
在开始教你如何实现"Hive Flink"之前，我们先了解一下"Hive"和"Flink"是什么。
### 1.1 Hive
Hive是基于Hadoop的数据仓库工具，它提供了一个类SQL的查询语言，称为HiveQL，用于对存储在Hadoop集群中的数据进行查询和分析。Hive将查询转化为MapReduce任务，以实现高效的数据处理。
##
原创
2023-08-12 06:05:07
62阅读
1.27.Flink实时性、容错机制、窗口等介绍 1.27.1.问题导读 1.28.内幕 1.28.1.作业调度 1.28.1.1.调度 1.28.1.2.JobManager数据结构 1.29.Flink和Hive整合 1.29.1.概述 1.29.2.支持的Hive版本 1.29.3.依赖项 1.29.3.1.使用 Flink 提供的 Hive jar 1.29.3.2.用户定义的依赖项 1.
转载
2024-06-13 11:20:58
36阅读
文章目录一、概览二、Hive 方言2.1、使用 Hive 方言2.2、案例三、Hive Read & Write3.1、写3.1.1、批处理模式写入3.1.2、流处理模式写入3.2、读3.3、Temporal Table Join3.3.1、Temporal Join The Latest Partition3.3.2、Temporal Join The Latest Table四、Hi
转载
2023-07-26 10:39:39
690阅读
## 实现 Flink Hive 的流程
### 1. 安装 Hive
在开始之前，首先需要安装 Hive。Hive是一个基于Hadoop的数据仓库工具，用于处理大规模数据集。你可以从Hive官方网站上下载并安装最新版本的Hive。
### 2. 配置 Flink
在 Flink 中使用 Hive 需要配置一些参数。查找并编辑 Flink 的 `flink-conf.yaml` 配置文件，
原创
2023-07-24 09:38:14
131阅读
1.使用步骤 下载安装flink。并进行如下配置： 1、在sql-client-defaults.yaml中添加：catalogs:
- name: myhive
type: hive
hive-conf-dir: /usr/local/hive/conf
转载
2023-09-03 09:12:05
284阅读
