一、基本处理函数处理函数主要是定义数据流的转换操作，所以也可以把它归到转换算子中。我们知道在Flink中几乎所有转换算子都提供了对应的函数类接口，处理函数也不例外；它所对应的函数类，就叫作ProcessFunction。1.处理函数的功能和使用之前学习的转换算子，一般只是针对某种具体操作来定义的，能够拿到的信息比较有限。比如map算子，我们实现的MapFunction中，只能获取到当前的数据，定义
转载
2024-02-17 12:58:14
36阅读
知道大数据的同学也应该知道 Flink 吧，最近在中国的热度比较高，在社区的推动下，Flink 技术栈在越来越多的公司开始得到应用。Flink 到底火不火？据不完全统计，Flink 在中国公司的采用情况（部分）其中, 他们用 Flink 做了什么？Alibaba 使用 Flink 的分支版本 Blink 来优化实时搜索排名。eg: 当商品商家一个商品之后，实时计算引擎（Flink）在秒级别 bui
在源码解读前我们有必要先了解一下Flink的一些基本的但却很关键的概念。这有助于帮助我们理解整个架构。在翻译文档的同时，对于有争议的或者不是非常适合用中文表达的地方，我尽量保留原始英文单词。程序和数据流Flink程序的基本构建块是streams和transformations（注意，DataSet在内部也是一个stream）。一个stream可以看成一个中间结果，而一个transformation
转载
2024-08-02 16:50:17
41阅读
角色JM，接收提交的资料：class文件、依赖的jar、jobGraph、datafolwGraph 运行driver，类似于spark的driver，任务调度主从中的主 划分任务，把jobGraph转成executionGraph 分发任务，向RM申请slot，然后把subtask提交到TM的slot运行管理checkpointjobGraph代码的图形化表示，没有并行操作的信息TM启动后，TM
转载
2024-07-26 10:21:47
59阅读
目录一、Flink简介二、为什么选择Flink三、flink的应用场景四、 什么是有状态的流式处理4.1 事务处理4.2 分析处理4.3 有状态的流式处理4.4 lambda结构4.4 flink的优点五、Flink的主要特点5.1 事件驱动（Event-driven)5.2 基于流的世界观5.3 flink组件5.4 分层API5.5 flink的其他特点六、Flink Vs Spark Str
1. ProcessFunction ProcessFunction是一个低级的流处理操作，可以访问所有(非循环)流应用程序的基本构建块:event(流元素)state(容错，一致性，只能在Keyed流中使用)timers(事件时间和处理时间，只能在keyed流中使用) ProcessFunction可以被认为是增加了keyed state和timers功能的FlatMapFunction。P
转载
2024-03-29 16:18:10
74阅读
为什么使用mongodb？作用？ 主要用来应对三高问题高并发读写 高效率存储访问 高可扩展，高可用性传统的关系型数据库（如MySQL），在数据操作的“三高”需求以及应对Web2.0的网站需求面前，显得力不从心。 解释：“三高”需求： • High performance - 对数据库高并发读写的需求。 • Huge Storage - 对海量数据的高效率存储和访问的需求。 • High Scala
转载
2023-08-02 15:51:41
252阅读
有一个比较幼稚的问题，例如，只是想开车上下班的人，有必要先学会修车，然后再学开车么？还是先学开车，以后有必要或者有想法，他再去学修车呢？我个人当然是倾向于后者。使用spring也是如此！ 1.方便解耦，便于开发（Spring就是一个大工厂，可以将所有对象的创建和依赖关系维护都交给spring管理）2.spring支持aop编程（spring提供面向切面编程，可以很方便的实现对程序进行权限
转载
2023-07-05 20:37:44
100阅读
setTimeout，它就是一个定时器，用来指定某个函数在多少毫秒之后执行。setTimeout用法var timeoutID = setTimeout(function[, delay, arg1, arg2, ...]);
var timeoutID = setTimeout(function[, delay]);
var timeoutID = setTimeout(code[, delay
转载
2024-06-06 22:27:42
82阅读
环境准备进入flink运行目录，启动flink的本地环境：./bin/start-scala-shell.sh local此时会得到两个创建好的环境，一个是批处理环境，通过benv来使用；一个是流处理环境，通过senv或stenv来使用。准备数据输入环境打开一个终端，输入以下命令：nc -lk 10001
>接收数据的环境我们使用socketTextStream输入流来输入数据：val ds
转载
2024-02-27 10:22:33
34阅读
概述1、为什么要有Redis的日志呢？ 因为一旦服务器宕机，那么内存中的数据将全部丢失。我们能想到的一种解决方案是对于一些数据库中也有的数据，我们从数据库中恢复到缓存。但是这会导致数据库的访问压力过大，并且访问数据库性能不算优秀。2、说下什么是AOF日志？（主要是回答的思路和步骤，提出问题和解决问题的过程） AOF日志中记录的是Redis收到的每一条命令。 它是写后日志，就是先执行命令后记录日志，
转载
2023-09-21 13:14:46
171阅读
1. 什么是跳跃表(skiplist)跳跃表(skiplist)是一种有序数据结构，它通过在每个节点中维持多个指向其他节点的指针，从而达到快速访问节点的目的。Redis 使用跳跃表作为有序集合键(ZSET)的底层实现之一，如果一个有序集合包含的元素数量比较多，又或者有序集合中元素的成员是比较长的字符串时，Redis 就会使用跳跃表来作为有序集合键的底层实现。Redis 只在两个地方用到了跳跃表(s
转载
2023-08-11 17:46:21
166阅读
一、什么是SSH SSH是英文Secure Shell的简写形式。通过使用SSH，你可以把所有传输的数据进行加密，这样"中间人"这种攻击方式就不可能实现了，而且也能够防止DNS欺骗和IP欺骗。使用SSH，还有一个额外的好处就是传输的数据是经过压缩的，所以可以加快传输的速度。SSH有很多功能，它既可以代替Telnet，又可以为FTP、Pop、甚至为PP
转载
2023-10-20 17:06:05
0阅读
一、浅谈Redis?1.为什么要用Redis?前台系统中: 如用户访问的效率特别低 -> 用户体验差 -> 用户的粘稠低 -> 失去用户!不常用的数据: 如果从mysql中查询 -> 放到数据磁盘上 -> (如用户访问量大)频繁进行I/O操作 &n
转载
2024-04-10 11:20:17
34阅读
大数据文摘出品编译：张大笔茹十年前，你说你是做数据的，大家的反应就是——用Excel做做表。现在，要成为一个合格的数据分析师，你说你不会Python，大概率会被江湖人士耻笑。Medium上一位博主就分享了他一步步用Python替换掉十年前的“老情人”Excel的过程，一起来学习一下吧！
在Excel成为我的“初恋”十年之后，是时候找一个更好的“另一半”了，在这个技术日新月异的时代，更好更
转载
2023-11-17 20:50:35
85阅读
从项目的背景来看，Dubbo 国内用的公司挺多，国内影响力大，Spring Cloud 自然在国外影响力较大，所以这个来看不分伯仲了，毕竟都有大公司在使用。从社区的活跃度来看，可以看下各自的Github托管项目来区分，Dubbo · GitHub 与 Spring Cloud · GitHub ，从更新频率与更新时间来看 Spring Cloud 优于Dubbo，Dubbo基本不维护了。从框
转载
2024-04-12 13:10:59
34阅读
目录 1.什么是rem?2.为什么要用rem(rem有什么优点)？怎样使用rem？1.什么是rem?rem（font size of the root element）是指相对于根元素的字体大小的单位。2.为什么要用rem(rem有什么优点)？都知道现在手机屏幕分辨率越来越多了，假设我们的网页需要适配的iPhone4（320px），iPhone6(375px)，iPhone6 Plus(
转载
2024-04-22 09:25:43
35阅读
在当今快节奏的科技领域，操作系统的选择变得越来越重要。作为一名计算机用户，选择一个合适的操作系统可以提高工作效率，保护数据安全，以及满足个性化需求。在众多的操作系统中，Linux系统因其稳定性、安全性和自由开放的特点，成为了许多人的首选。
那么，为什么要选择Linux系统呢？
首先，Linux系统是一个开源的操作系统，用户可以免费获取和修改其源代码。相比于闭源操作系统，Linux系统具有更高的
原创
2024-03-12 10:41:37
76阅读
Java 现已成为当今大多数网络应用程序的基础，被认为对企业软件、Web 脚本、游戏和移动应用程序非常有用。Java 被许多大企业使用，被认为是企业和可维护 Web 开发的最强大参与者之一。 让我们来看看为什么应该选择 Java 进行 Web 开发 面向对象的编程语言 Java 流行的主要原因是它是一种面向对象的编程语言。 OOP 应用程序更易于管理和编码，并保持系统灵活、模块化和可扩展
转载
2023-08-07 16:24:56
80阅读
FreeBSD并不是一个Linux系统！但FreeBSD与Linux的用户群有相当一部分是重合的，二者支持的硬件环境也比较一致，所采用的软件也比较类似，所以可以将FreeBSD视为一个Linux版本来比较。FreeBSD拥有两个分支：stable和current。顾名思义，stable是稳定版，而 current则是添加了新技术的测试版。FreeBSD采用Ports包管理系统，与Gentoo类似，
原创
2008-05-20 21:10:31
1546阅读
