原文链接 用Twitter自己的话来说： REST API The REST API provides simple interfaces for most Twitter functionality. REST API The REST API provides simple interfaces
转载
2018-10-16 15:41:00
460阅读
2评论
在apache spark的官方文档中，https://spark.apache.org/docs/latest/monitoring.html#rest-api，列举了spark程序的rest入口是 http://localhost:4040/api/v1.当spark程序跑在yarn上的时候，类似 localhost:4040这种地址实际上被yarn的resource manager代理了，所
转载
2023-09-16 20:52:40
170阅读
Flink中的每个function和operator都可以是有状态的（有关详细信息请参阅有状态的运行）。有状态的functions通过处理各个元素/事件来存储数据，并把状态作为关键构建以支持任何类型更复杂的操作。为了使状态能够容错，Flink需要状态的检查点。Flink通过检查点恢复流中的状态和位置，进而使得应用程序与无故障执行具有相同的语义。关于流容错的文档 详细介绍了Flink流容错机制的...
原创
2021-06-21 15:53:01
305阅读
Flink中的每个function和operator都可以是有状态的（有关详细信息请参阅有状态的运行）。有状态的functions通过处理各个元素/事件来存储数据，并把状态作为关键构建以支持任何类型更复杂的操作。为了使状态能够容错，Flink需要状态的检查点。Flink通过检查点恢复流中的状态和位置，进而使得应用程序与无故障执行具有相同的语义。关于流容错的文档 详细介绍了Flink流容错机制的...
原创
2022-03-28 17:26:43
164阅读
此文已由作者岳猛授权网易云社区发布。 欢迎访问网易云社区，了解更多网易技术产品运营经验。 Structure Stream访问方式 code examples 结论 basedir = /home/testhdfs支持：mv file to basedir（/home/testhdfs）不支持：mv
转载
2018-10-31 13:31:00
80阅读
此文已由作者岳猛授权网易云社区发布。 欢迎访问网易云社区，了解更多网易技术产品运营经验。 Structure Stream访问方式 code examples 结论 basedir = /home/testhdfs支持：mv file to basedir（/home/testhdfs）不支持：mv
转载
2018-10-31 13:31:00
40阅读
本文翻译自官网：FlinkTableApi&SQL动态表https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/streaming/dynamic_tables.htmlSQL和关系代数在设计时并未考虑流数据。所以，关系代数（和SQL）与流处理之间在概念上有一些差距。本页讨论了这些差异，并说明了Flink如
原创
2021-02-08 15:03:50
417阅读
本文翻译自官网：TimeAttributeshttps://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/streaming/time_attributes.htmlFlink能够根据不同的时间概念处理流数据。Processtime是指正在执行相应操作的机器的系统时间（也称为“挂钟时间”）。Eventtime是指基于附在
原创
2021-02-08 14:50:46
336阅读
本文翻译自官网：QueryConfigurationhttps://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/streaming/query_configuration.html表API和SQL查询具有相同的语义，无论其输入是有界批处理输入还是无界流输入。在许多情况下，对流输入的连续查询能够计算与脱机计算的结果相同的
原创
2021-02-08 14:02:42
315阅读
本文翻译自官网：TemporalTableshttps://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/streaming/temporal_tables.html时态表（注：TemporalTable,我翻译为时态表，可以访问表在不同时间的内容）表示一直在修改的表上的（参数化）视图的概念，该视图返回表在特定时间点的内
原创
2021-02-08 14:34:32
560阅读
由于Watermark extends StreamElement，所以它是一个流元素，但是，如果你要这么理解
原创
2022-07-08 17:19:48
97阅读
Java8的核心功能就是Lambda和Streaming API ...
转载
2021-10-28 20:45:00
97阅读
2评论
package com.shujia.spark.streaming import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.sql.{DataFrame, SparkSession} import org. ...
转载
2021-07-25 16:54:00
391阅读
2评论
Java 8 StreamJava 8 API添加了一个新的抽象称为流Stream，可以以一种声明的方式处理数据。这种风格将要处理的元素集合看作一种流， 流在管道中传输， 并且可以在管道的节点上进行处理， 比如筛选， 排序，聚合等。元素流在管道中经过中间操作的处理，最后由最终操作得到前面处理的结果。什么是 Stream？Stream（流）是一个来自数据源的元素队列并支持聚合操作元素是特定类型的对象
转载
2023-07-19 13:47:27
47阅读
Java 8中新增的Stream可以让你非常方便地对集合进行过滤，映射，切片等各种操作。Stream流可连续调用多个操作，可以单独执行，也可以合并一起执行。创建Stream Java 8中通过 Collection 接口增加了 stream() 和 parallelStream() 方法，可以用来生成流。通过 Collection 系列集合提供的 stream() 或 parallelStream
转载
2023-09-06 13:37:26
41阅读
1.Stream流 1. 流，支持处理数据处理操作的源生成的元素序列。流有两个重要特性：1流水线：很多流操作本身会返回一个流，这样多的操作就可以链接起来，形成一个大的流水线。2，内部迭代。流的迭代是在背后进行的。流可以看成遍历数据集的高级迭代器。此外，流还可以透明的并行处理，你无需写任何多线程代码。&nb
转载
2024-02-28 13:40:26
48阅读
前言 引用Spark commiter(gatorsmile)的话：“从Spark-2.X版本后，Spark streaming就进入维护模式，Spark streaming是低阶API，给码农用的，各种坑；Structured streaming是给人设计的API，简单易用。由于太忙，所以一直没有在官方文档上 更新说明信息” 这个坑，我想大部分朋友和我一样-->也...
原创
2022-11-03 15:00:51
417阅读
注意：触发窗口的条件不仅和维度有关，而且还与事件有关，比如我事件类型设置了eventTimeenv.setStreamTimeCharacteristic(TimeCharacteristic.EventTime);那么如果代码中我没有设置watermark，则该窗口永远不会触发，即使你设置了时间窗口或者计数窗口下面开始介绍flink中的window（窗口）按照维度：分为时间窗口和计数窗口 1.时
原创
2022-07-08 17:52:51
145阅读
细说Spark Streaming和Structured Streaming的区别 ...
转载
2021-05-13 23:06:18
670阅读
2评论
输出操作允许DStream的操作推到如数据库、文件系统等外部系统中。本文主要以举例的方式讲述Spark Streaming常用的输出。
原创
精选
2024-04-22 10:57:21
204阅读
