// 分桶策略,使用默认的
.withBucketAssigner(new DateTimeBucketAssigner<User>())
// 每100毫秒检查一次分桶
.withBucketCheckInterval(100)
// 滚动策略,Bulk的滚动策略只有一种,就是发生Chec
Spark缺点无论是 Spark Streaming还是 Structured Streaming, Spark流处理的实时性还不够,所以无法用在一些对实时性要求很高的流处理场景中。 这是因为 Spark的流处理是基于所谓微批处理( Micro- batch processing)的思想,即它把流 处理看作是批处理的一种特殊形式,每次接收到一个时间间隔的数据才会去处理,所以天生很难在实时性上有所提
转载
2024-09-04 07:56:15
203阅读
Flink 是一个默认就有状态的分析引擎，前面的 WordCount 案例可以做到单词的数量的累加，其实是因为在内存中保证了每个单词的出现的次数，这些数据其实就是状态数据。但是如果一个 Task 在处理过程中挂掉了，那么它在内存中的状态都会丢失，所有的数据都需要重新计算。从容错和消息处理的语义（At -least-once 和 Exactly-once）上来说，Flink引入了 Sta
Python介绍python的创始人为吉多·范罗苏姆（Guido van Rossum）。1989年的圣诞节期间，吉多·范罗苏姆为了在阿姆斯特丹打发时间，决心开发一个新的脚本解释程序，作为ABC语言的一种继承。 最新的TIOBE排行榜，Python赶超PHP占据第五， Python崇尚优美、清晰、简单，是一个优秀并广泛使用的语言。Python可以应用于众多领域，如：
# MySQL替代产品概述
MySQL是一款广泛使用的开源关系型数据库管理系统，但在某些场景下，开发者可能会寻找更适合的替代产品。德特定需求，比如性能、扩展性或一致性等问题，用户可能会考虑使用不同的数据库系统。本文将介绍几种MySQL常见的替代产品，并给出代码示例。
## 1. PostgreSQL
PostgreSQL 是一个功能强大的开源对象关系型数据库。它支持复杂查询、大量并发连接、线
# 典型应用场景可以这样说，任何一个开发语言、开发框架，都有它存在的明确目的，重心是为了解决什么问题。没有说我们学习一门语言或技术，就可以解决所有的问题。同样的，`OpenResty`的存在也有其自身适用的应用场景。其实官网 wiki 已经列了出来：- 在lua中混合处理不同nginx模块输出(proxy, drizzle, postgres, redis, memcached等)。- 在请求真正
转载
2024-10-08 06:26:36
31阅读
一、Apache Flink介绍Apache Flink® is an open-source stream processing framework for distributed, high-performing, always-available, and accurate data streaming applications.flink 是一个开源的针对批量数据和流数据的处理引擎，已经发
转载
2023-12-06 13:00:00
52阅读
我们是否还需要另外一个新的数据处理引擎？ 当我第一次听到flink的时候这是我是非常怀疑的。在大数据领域，现在已经不缺少数据处理框架了，但是没有一个框架能够完全满足不同的处理需求。 自从Apache spark出现后，貌似已经成为当今把大部分的问题解决得最好的框架了，所以我对另外一款解决类似问题的框架持有很强烈的怀疑态度。 不过因为好奇，我花费了数个星期在尝试了解flink。 一开始仔细看了fli
转载
2024-08-13 12:56:37
81阅读
Redis是一个基于key-value的高速缓存系统，类似于memcached，但是支持更复杂的数据结构List、Set、Sorted Set，并且有持久化的功能。由于近期工作很多地方都用到了它，所以花了不少时间来阅读文章、编码实验，了解一下Redis都能做些什么，能有什么样的性能表现。首先遇到的第一个问题就是，Redis究竟是什么？这个问题看似可笑，其实不然，我很赞同Timyang的观点，架
转载
2024-06-24 23:45:01
92阅读
# Flink替代Spark：一场大数据计算框架的新生之路
随着大数据技术的飞速发展，Apache Spark 成为了大数据处理领域的翘楚。但是近年来，Apache Flink 作为一款新兴的流式计算框架，逐渐崭露头角，被认为有望取代 Spark 成为新的宠儿。本文将介绍 Flink 相对于 Spark 的优势，以及如何使用 Flink 替代 Spark 进行大数据计算。
## Flink v
原创
2024-06-19 06:02:44
126阅读
# MongoDB 的国产替代产品探索
随着大数据时代的到来，MongoDB因其出色的性能和灵活性而广受欢迎。然而，由于各种原因，很多企业和开发者开始寻找能够替代MongoDB的国产产品。本文将带您了解一些常见的国产MongoDB替代选项，并提供代码示例和关系图以帮助您更好地理解这些产品的使用场景。
## 为什么选择国产替代产品？
在选择数据库时，除了功能外，安全性、稳定性和本地支持也是重要
原创
2024-09-22 07:37:11
611阅读
近两年Docker可谓充满了争议，例如去年底K8s宣布不打算支持Docker，消息一出，大家争相讨论Docker的可替代方案，Colima作为Docker Desktop的热门开放替代方案，Podman作为Docker的替代方案，收到许多开发者和企业的关注，分别收录在Thoughtworks的最新一期技术雷达中。在今年Docker公司又宣布了Docker Desktop准备向中大型企业用户收费，“
转载
2024-01-24 09:15:14
119阅读
Docker诞生于2013年，并普及了容器的概念，以至于大多数人仍然将容器的概念等同于“Docker容器”。作为第一个吃螃蟹的人，Docker设置了新加入者必须遵守的标准。例如，Docker有一个大型系统镜像库。所有的替代方案都必须使用相同的镜像格式，同时试图改变Docker所基于的整个堆栈的一个或多个部分。在此期间，出现了新的容器标准，容器生态系统朝着不同方向发展。现在除了Docker之外，还有
转载
2024-01-24 13:28:31
58阅读
Surface Pro 3 VS. MacBook Air上周微软正式发布了Surface Pro 3，详细情况请看这篇文章《替代笔记本的Surface Pro 3：800g、9.1mm，极致轻薄》，由于其定位的问题，引发了网友的广泛讨论，笔者也同样为Surface Pro 3惊人的市场定位（取代笔记本电脑）而吃惊不已。能否像微软CEO Satya Nadella在发布会上所说的，Surface
导读：网易云信的 gitlab 服务器搭建在外网，Jenkins 服务器搭建在内网，因此 gitlab 没办法直接把 webhook 发送给Jenkins，而 pipeline 的搭建采用第三方 relay 转发的方式，但是这个 relay 经常“罢工”。本文根据网易云信的落地实践，详细介绍了如何借助 Gitlab-ci 替代 webhook 触发 Jenkins job。文｜邹李勇 网
转载
2024-03-29 13:05:57
156阅读
在许多地方，你可以读到Podman是Docker的替代品。但是，真的像听起来那么简单吗？在这篇文章中，你将从一个可以立即投入生产使用的Dockerfile开始，并执行Podman命令，就像你使用Docker时会做的那样。让我们看看这是否可以无任何问题地工作！引言
Podman是一个容器引擎，就像Docker一样。然而，Podman是一个无守护进程的容器引擎，它默认运行的是无根容器（rootless
转载
2023-09-05 10:20:49
118阅读
文章目录0x00 摘要0x01 缘由0x02 背景概念2.1 四层执行图2.2 Task和SubTask2.3 如何划分 Task 的依据2.4 JobGraph2.5 BSP模型和SuperstepBSP模型BSP模型的实现Flink-Gelly0x03 Flink的迭代算法（superstep-based）3.1 Bulk Iterate3.2 迭代机制0x04 Alink如何使用迭代0x0
转载
2024-08-09 14:45:55
43阅读
Flink带头大哥 02-1522:46 在流式计算领域，同一套系统需要同时兼具容错和高性能其实非常难，同时它也是衡量和选择一个系统的标准。在这个领域，Flink和Spark无疑是彼此非常强劲的对手。 1. Flink VS Spark 之 API Spark与Flink API情况如下： Spark与Flink 对开发语言的支持如下所示： 2. Flink VS Spark 之
转载
2023-11-08 18:15:18
83阅读
看到很多人推荐使用Redis代替Memcached，我觉得这两个是不一样的东西，它们的关系应该是共存而不是替代。Memcached是个纯内存型的缓存系统，支持数据类型单一，单个缓存数据有限制，支持分布式，我觉得这是个很理想的缓存系统。Redis是个简单的NOSQL数据库，支持几种简单的数据类型，支持主从复制，支持持久化，可以看作是个内存型数据库。由此可见，Memcached是正宗的缓存系统，Red
转载
2023-09-10 21:55:10
87阅读
SSDB 360 的 ideawu开发的 NOSQL 数据库，其底层存储引擎基于 LevelDB 实现，接口支持类似于 Redis，完全兼容 Redis 的协议，支持 list, has, zset 等数据结构。与 Redis 相比较，SSDB 利用持久化设备存储，避免了纯内存数据库的容量问题，与 LevelDB 的关系是 SSDB 利用了 LevelD
转载
2024-06-02 10:43:08
32阅读
