一. Apache Flink 的定义、架构及原理Apache Flink 是一个分布式大数据处理引擎，可对有限数据流和无限数据流进行有状态或无状态的计算，能够部署在各种集群环境，对各种规模大小的数据进行快速计算。1. Flink 应用相关概念：Streams（流），分为有限数据流与无限数据流，unbounded stream 是有始无终的数据流，即无限数据流；而 bounded stream 是
转载
2024-03-15 17:49:47
28阅读
CentOS7、jdk1.8、flink-1.10.1、hadoop-2.7.7想要完成本期视频中所有操作，需要以下准备：Linux下jdk的安装Scala环境搭建-视频教程大数据常用shell脚本之分发脚本编写-视频教程大数据常用shell脚本之ha-hadoop脚本编写-视频教程大数据常用shell脚本之zk脚本编写-视频教程Hadoop单机伪分布式-视频教程Hadoop完全分布式集群环境搭建
转载
2024-04-02 19:54:18
54阅读
目录 直播数字化运营结果写入Elasticsearch第二种思路Flink实现总结Elasticsearch部分Kibana部分 直播数字化运营业务目标全站观看直播总人数以及走势房间直播总人数以及走势热门直播房间及主播Top10，分类目主播Top10// 开始和上一个业务一样，创建cleanMapFun来提取需要的数据属性，这里只需要时间戳、roomid和userid三个属性
// 第二个
转载
2023-11-10 09:03:14
127阅读
目录 数据产生Logstash部分Kafka部分Flink部分配置/准备代码视频核心指标监控 基于Kafka + Flink + ELK + Redis实现视频直播数据的实时处理和可视化。选型仅仅出于练习考虑，Logstash一般会换成flume或者直接用kafka。模拟的总体流程：通过http请求发送json到Logstash，后者将数据转发到Kafka，然后Flink拉取数据进行处理，结
转载
2024-05-24 23:14:31
44阅读
一：为什么使用flink1.jdk实现流式处理package net.xdclass.app;
import net.xdclass.model.VideoOrder;
import java.util.Arrays;
import java.util.List;
import java.util.stream.Collectors;
/**
* java实现流式计算
*/
public
转载
2024-05-06 17:08:01
37阅读
前言第一个Flink示例，首先分享下课程李老师关于任何一门新技术的学习方法： 1、进官网 2、找项目构建 3、找example里的demo代码 4、拷贝到构建的项目里 go一、Flink的项目构建一般官网都会提供项目的构建步骤、或者脚本的。Flink在这里就是提供的脚本，步骤如下： 1、打开官网：https://flink.apache.org/ 2、拷贝建Flink项目的脚本 当然，其实是可以在
转载
2024-01-10 19:40:56
45阅读
Flink开发环境部署和配置1、开发环境部署和配置需要安装的环境有Java，Maven，Git其中至于用来干什么的应该不用细说，一般Java开发都是有这些环境其中需要注意的是Java版本需要Java8 或者Java8 以上 Maven版本需要使用Maven 3 推荐版本为Maven 3.2.5 （这是两年前的文档现在不一定适用，如果出现问题可以作为解决问题的思路）在国内使用Maven 大家一般都修
转载
2024-03-06 12:23:05
46阅读
前置准备CentOS7、jdk1.8、flink-1.10.1、hadoop-2.7.7、zookeeper-3.5.7想要完成本期视频中所有操作，需要以下准备：Linux下jdk的安装Scala环境搭建-视频教程大数据常用shell脚本之分发脚本编写-视频教程大数据常用shell脚本之ha-hadoop脚本编写-视频教程大数据常用shell脚本之zk脚本编写-视频教程Hadoop单机伪分布式-视
转载
2024-04-15 13:13:32
44阅读
在现代的数据处理技术中，视频推流已经成为一个越来越热门的话题。Java Flink作为一种强大的流处理框架，可以很好地满足视频推流的需求。本文将详细介绍如何使用Java Flink进行视频推流，包括环境准备、分步指南、配置详解、验证测试、优化技巧和排错指南。
## 环境准备
在开始之前，首先需要确保您的环境是适合运行Java Flink的视频推流应用程序的。以下是一些必要的前置依赖工具和版本兼
摘要：本文整理自斗鱼实时计算负责人夏畅在 Flink Forward Asia 2021 行业实践专场的分享。本篇内容主要分为四个部分：背景介绍实时平台建设实时数仓探索未来发展与展望Tips：点击「阅读原文」查看原文视频 & 演讲PDF～一、背景介绍斗鱼成立于 2014 年，是一家致力于为所有人带来欢乐的，弹幕式直播分享平台。在斗鱼，实时计算发展得并不算早。2018 年前后，为了满足一些近
转载
2024-07-24 12:55:06
64阅读
视频内容第一章 1课程安排与初识Flink 2Flink生态 3Flink Use 4Flink当前的发展状况以及未来趋势 5Flink批处理案例实 6Flink流处理案例实现（ 7Flink编程模型一：分层架构 8Flink编程模型二：DataFlow 9Flink编程模型二：window、time、state及checkpoint 10Flink Slot分配与共享 11Flink Slot?
原创
2021-05-20 14:40:41
482阅读
1评论
作者 | Fabian Hueske and Vasiliki Kalavri目录一、必需软件二、在IDE中运行和调试Flink程序 1.在IDE中导入书中示例 2.在IDE中运行Flink程序 3.在IDE中调试Flink
文章目录背景实例讲解构造数据构造统计结果类定义窗口和触发器集合计算收集窗口结果数据使用聚合窗口的结果结果统计示例运行结果 背景在大数据的实时处理中，实时的大屏展示已经成了一个很重要的展示项，比如最有名的双十一大屏实时销售总价展示。除了这个，还有一些其他场景的应用，比如我们在我们的后台系统实时的展示我们网站当前的pv、uv等等，其实做法都是类似的。今天我们就做一个最简单的模拟电商统计大屏的小例子，
转载
2024-09-07 16:15:41
39阅读
都2022年了，身为大数据工程师的你，还在苦学 Spark、Hadoop、Storm，却还没搞过 Flink？每年双十一，阿里都在 Flink 实时计算技术的驱动下全程保持了“如丝般顺滑”，基于 Flink 的阿里巴巴实时计算平台简直强·无敌。最恐怖的是，阿里几乎每年的实时计算峰值都达到了破纪录的每秒40亿条记录，数据量也达到了惊人的7TB每秒，相当于一秒钟需要读完500万本《新华字典》！Flin
转载
2024-01-29 22:52:42
50阅读
目录 总览：并行 Dataflows自定义时间流处理有状态流处理通过状态快照实现的容错总览：如何实现流数据处理管道（pipelines）flink如何管理状态及为何需要状态管理如何使用事件时间来一致并准确的进行计算分析如何在流式数据构建事件驱动分析如何提供具有exactly-one计算语义的可容错、有状态流处理流处理分析数据时，可以围绕 有界流（bounded）或 无
转载
2024-05-06 19:46:08
107阅读
经过小松鼠的不懈努力，本届 Flink Forward Asia 2023 峰会全部专场回放视频已经更新完毕啦，没能亲自到现场参会的小伙伴们有福啦～ 我们将本次活动的视频开放出来，供大家查看。
原创
2024-01-20 22:18:56
158阅读
1：采用BucketingSink的方式public class BucketingSinkDemo {
public static void main(String[] args) throws Exception {
long rolloverInterval = 2 * 60 * 1000;
long batchSize = 1024 * 1
转载
2024-07-18 10:25:19
36阅读
1 实时ETL1.1 需求背景针对算法产生的日志数据进行清洗拆分•1：算法产生的日志数据是嵌套json格式，需要拆分打平•2：针对算法中的国家字段进行大区转换•3：把数据回写到Kafka1.2 项目架构视频网站（抖音），生成日志的时候，他们日志里面是把多条数据合并成一条数据了。1.3 方案设计日志格式：直播平台（是不是国内，但是类似于国内的抖音）
处理前：
{"dt":"2019-11-19 20
转载
2024-05-14 12:23:16
40阅读
01
PDF下载
识别下方二维码，回复“小晨001”，即可下载。
02
PPT预览
转载
2021-08-10 13:53:39
236阅读
基于 Flink + Hive 构建流批一体准实时数仓基于 Hive 的离线数仓往往是企业大数据生产系统中不可缺少的一环。Hive 数仓有很高的成熟度和稳定性，但由于它是离线的，延时很大。在一些对延时要求比较高的场景，需要另外搭建基于 Flink 的实时数仓，将链路延时降低到秒级。但是一套离线数仓加一套实时数仓的架构会带来超过两倍的资源消耗，甚至导致重复开发。 想要搭建流式链路就必须得
转载
2024-03-18 08:24:04
98阅读
