1、窗口API1,1、按键分区（Keyed）和非按键分区（Non-Keyed）在定义窗口操作之前，首先需要确定，到底是基于按键分区（Keyed）的数据流KeyedStream来开窗，还是直接在没有按键分区的DataStream上开窗。也就是说，在调用窗口算子之前，是否有keyBy操作。按键分区窗口（Keyed Windows）经过按键分区keyBy操作后，数据流会按照key被分为多条逻辑流（log
转载
2023-07-11 17:24:57
49阅读
众所周知，flink是有状态的计算。所以学习flink不可不知状态。 正好最近公司有个需求，要用到flink的状态计算，需求是这样的，收集数据库新增的数据。 听起来很简单对吧？起初我也这么认为，现在发现，这尼玛就是变相的动态读取啊。
转载
2023-07-27 19:48:29
77阅读
“数据智能” (Data Intelligence) 有一个必须且基础的环节，就是数据仓库的建设，同时，数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务。从智能商业的角度来讲，数据的结果代表了用户的反馈，获取结果的及时性就显得尤为重要，快速的获取数据反馈能够帮助公司更快的做出决策，更好的进行产品迭代，实时数仓在这一过程中起到了不可替代的作用。本文主要讲述知乎的实时数仓实践
转载
2024-06-05 00:30:35
103阅读
目录1 Flink VS Spark运行角色2 生态3 运行模型4 编程模型对比5 任务调度原理6 时间机制对比7 kafka 动态分区检测8 容错机制及处理语义9 Back pressure背压/反压1 Flink VS Spark运行角色⚫ Spark Streaming 运行时的角色(standalone 模式)主要有： ✓ Master:主要负责整体集群资源的管理和应用程序调度； ✓ Wo
转载
2024-06-19 06:48:58
26阅读
如果你一直利用Telnet控制网络设备，你可以考虑采用其他更安全的方式。本文告诉你如何用SSH替换Telnet。 使用Telnet这个用来访问远程计算机的TCP/IP协议以控制你的网络设备相当于在离开某个建筑时大喊你的用户名和口令。很快地，会有人进行监听，并且他们会利用你安全意识的缺乏。 SSH是替代Telnet和其他远程控制台管理应用程序的行业标准。SSH命令是加密的并以几种方式进行
之前我们聊了Flink程序的source、sink就差transformation了。今天我们就来解读一下Flink的transformation。它们三者的关系如下图：当然这还是从Flink编程API的角度来看的（编程视角）。所谓的transformation，用于转换一个或多个DataStream从而形成一个新的DataStream对象。Flink提供编程接口，允许你组合这些transform
转载
2024-07-24 12:43:03
28阅读
# 从 Hive 迁移到 Doris 的步骤指南
随着大数据技术的不断发展，许多公司开始寻找更加高效且易于操作的数据处理框架。在这个过程中，Apache Doris 作为一个新的 OLAP 数据库，逐渐被引入来取代 Hive。本文将指导你如何实现“Doris 取代 Hive”的流程，并提供具体的代码示例和注释。
## 迁移流程
下面是从 Hive 迁移到 Doris 的基本步骤。我们用表格展
一提到大数据，多半绕不开Spark 和 Flink。Spark用一个统一的引擎支持批处理、流处理、交互式查询、机器学习等常见的数据处理场景，适应性极广，但数据流计算上表现稍弱，而Flink的出现很好地弥补了这一不足。本文对 Spark 和 Flink 的技术与场景进行了全面分析与对比，且看下一代大数据计算引擎之争，谁主沉浮？自从数据处理需求超过了传统数据库能有效处理的数据量之后，Hadoop
转载
2023-11-29 08:47:23
46阅读
Flink写入hive 的问题记录背景：Flink读取Kafka数据写入hive需要添加的依赖配置文件常见报错写入parquet依赖冲突 背景：Flink读取Kafka数据写入hive两种方式 1、flink 0.9版本以上支持 table api直接写入hive 方式，需要使用hivecatalog，可以参考官方文档示例 2、flink写入 hdfs文件，需要小文件合并以及手动添加分区元数据
转载
2023-08-18 16:34:24
172阅读
修改hive配置案例讲解引入相关的pom构造hive catalog创建hive表将流数据插入hive，遇到的坑问题详解修改方案修改hive配置上一篇介绍了使用sql将流式数据写入文件系统，这次我们来介绍下使用sql将文件写入hive,对于如果想写入已经存在的hive表，则至少需要添加以下两个属性. 写入hive底层还是和写入文件系统一样的，所以对于其他具体的配置参考上一篇.alter
转载
2023-08-24 08:40:05
121阅读
摘要:Storm的编程模型是一个有向无环图，决定了storm的spout接收到外部系统的请求后，spout并不能得到bolt的处理结果并将结果返回给外部请求。所以也就决定了storm无法提供对外部系统的同步调用功能。 最近新的黑名单项目需要在storm实时计算平台上提供对外部系统请求调用的同步响应(也就是让storm支持同步调用而不是回调)，而Storm的编程模型是一个有向无环图，也就决定了
Doris–基础–1.3–理论–架构1、名词1.1、FE(Frontend)Doris 的前端节点。开发语言：以 Java 为主功能
接收和返回 客户端请求元数据 管理集群 管理生成 查询计划1.2、BE(Backend)Doris 的后端节点。开发语言：以 C++ 为主功能：
负责 数据存储负责 数据管理执行 查询计划1.3、Tablet是一张表，是实际的物理存储单元
一张表按
转载
2024-05-15 21:53:36
120阅读
自从今年鼎石科技公开了自家的DorisDB后（相关视频见B站）， Apache Doris 在社区中掀起了一波热潮， 我也跟风来学习一下，相关总结与大家分享。首先简单的说下啥是Doris吧，Doris是一个基于mpp的交互式SQL数据仓库，是一个面向多种数据分析场景的、 兼容MySQL协议的， 高性能的， 分布式关系型列式数据库，用于报告和分析。它最初的名字是Palo，由百度开发。在于2018年捐
转载
2023-10-24 21:44:53
343阅读
文章目录前言数据流处理hive基本信息获取流、批判断写入格式判断构造分区提交算子详解StreamingFileWriter简述StreamingFileSink分区信息提交提交分区算子分区提交触发器分区提交策略总结 前言前段时间我们讲解了flink1.11中如何将流式数据写入文件系统和hive [flink 1.11 使用sql将流式数据写入hive]，今天我们来从源码的角度深入分析一下。以便朋
转载
2023-08-21 10:44:44
196阅读
数仓架构离线数仓传统的离线数仓是由 Hive 加上 HDFS 的方案，Hive 数仓有着成熟和稳定的大数据分析能力，结合调度和上下游工具，构建一个完整的数据处理分析平台，流程如下：Flume 把数据导入 Hive 数仓调度工具，调度 ETL 作业进行数据处理在 Hive 数仓的表上，可以进行灵活的 Ad-hoc 查询调度工具，调度聚合作业输出到BI层的数据库中这个流程下的问题是：导入过程不够灵活，
转载
2023-08-02 17:20:13
162阅读
标题: ‘说说Flink的连接器connector有哪些,怎么用?’ 日期: 2021-07-31 10:26:51 标签: [flink,connector] 分类: 数据仓库flink作为一个计算引擎，是缺少存储介质的，那么数据从哪儿来，到哪儿去，就需要连接器了，链接各种类型数据库，各种类型组件进行数据的抽取、计算、存储等，下面来看看flink都有哪些connector，怎么使用的？介绍看看目
转载
2023-08-21 11:18:45
131阅读
许多同事一直问我一些类似的问题：
“如果我们在项目中使用hooks，我们是否还需要Redux？”
翻译
2022-02-28 17:01:20
726阅读
执行 ./flink run 命令，可以向 Flink Yarn Session 集群 、Flink Standalone 集群 提交任务，并且执行。带着疑问思考如如下问题：问题1：./flink run 命令是如何记载配置文件的？问题2：./flink run 命令是如何解析用户 Jar 程序的 Main 方法的？./flink 脚本flink run 命令，
转载
2024-01-31 02:45:49
23阅读
Python & JavaPython是一种高级的面向对象的编程语言，主要用于Web开发，人工智能，机器学习，自动化和其他数据科学应用程序。目前，Python已经更新到了3.8.2。Java是一种通用的面向对象的编程语言，主要用于开发从移动应用程序到Web到企业应用程序的各种应用程序。目前，Java已经更新到了JDK14.0.1。通俗来说，Python在大数据和机器学习的应用比较多，而Ja
转载
2023-06-02 09:52:35
157阅读
Hive一 Hive基本概念1 Hive简介学习目标了解什么是Hive了解为什么使用Hive1.1 什么是 HiveHive 由 Facebook 实现并开源，是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据映射为一张数据库表，并提供 HQL(Hive SQL)查询功能，底层数据是存储在 HDFS 上。Hive 本质: 将 SQL 语句转换为 MapReduce 任务运行，使不熟悉 M
