Graph There are two standard ways to represent a graph G=(V,E)G=(V,E), where VV is a set of vertices and EE is a set of edges; Adjacency list represen
转载
2019-04-30 16:26:00
339阅读
2评论
package com.shujia.spark.streaming import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.sql.{DataFrame, SparkSession} import org. ...
转载
2021-07-25 16:54:00
391阅读
2评论
前言 引用Spark commiter(gatorsmile)的话：“从Spark-2.X版本后，Spark streaming就进入维护模式，Spark streaming是低阶API，给码农用的，各种坑；Structured streaming是给人设计的API，简单易用。由于太忙，所以一直没有在官方文档上 更新说明信息” 这个坑，我想大部分朋友和我一样-->也...
原创
2022-11-03 15:00:51
417阅读
细说Spark Streaming和Structured Streaming的区别 ...
转载
2021-05-13 23:06:18
670阅读
2评论
输出操作允许DStream的操作推到如数据库、文件系统等外部系统中。本文主要以举例的方式讲述Spark Streaming常用的输出。
原创
精选
2024-04-22 10:57:21
204阅读
介绍Spark Streaming的特点、概念及常用的实时计算引擎的对比，讲述Spark Streaming内部结构，StreamingContext对象创建的两种方式，离散流DStream及窗口。
原创
精选
2024-04-22 10:57:39
238阅读
Graph( graph .cpp/c/pas)Description小 Y 又开始了一段旅途。这次，他要经过一个图，从1号点到达n号点，每个点设有休息站。小 Y 计划用最多k天走完全程，除第k天外，每一天小 Y 都必须在休息站过夜。所以，一段路必须在同一天走完。小 Y 的体力有限，他希望走的路程最
转载
2016-08-22 10:38:00
165阅读
2评论
Spark Streaming 是spark提供的对实时数据进行流式计算的组件。比如生产环境中的网页服务器日志，或者网络服务中用户提交的状态更新组成的消息队列，都是数据流。Spark Streaming提供了用来操作数据流的API，并且与Spark Core中的RDD API高度对应。这样一来，程序员编写应用时的学习门槛得以降低，无论是操作内存或硬盘中的数据，还是操作实时数据流，程序员都更能应对自...
原创
2022-03-15 14:06:35
138阅读
Spark Streaming 是spark提供的对实时数据进行流式计算的组件。比如生产环境中的网页服务器日志，或者网络服务中用户提交的状态更新组成的消息队列，都是数据流。Spark Streaming提供了用来操作数据流的API，并且与Spark Core中的RDD API高度对应。这样一来，程序员编写应用时的学习门槛得以降低，无论是操作内存或硬盘中的数据，还是操作实时数据流，程序员都更能应对自...
原创
2021-08-04 13:56:31
505阅读
一、一个例子 from pyspark import SparkContext from pyspark.streaming import StreamingContext # create sc with two working threads sc = SparkContext("local[2 ...
转载
2021-10-21 18:40:00
4280阅读
2评论
此文已由作者岳猛授权网易云社区发布。 欢迎访问网易云社区，了解更多网易技术产品运营经验。 实时计算的一个方向 实时计算未来会成为一个趋势，基本上所有的离线计算任务都能通过实时计算来完成，对于实时计算来算，除了性能，延迟性和吞吐量这些硬指标要求以外，我觉得易用性上面应该是未来的一个发展方向，毕竟现在的
转载
2018-10-31 13:26:00
66阅读
2评论
Spark Streaming 是个批处理的流式（实时）计算框架。其基本原理是把输入数据以某一时间间隔批量的处理，当批处理间隔缩短到秒级
原创
精选
2024-04-27 19:05:50
242阅读
一、Hadoop Streaming:Hadoop Streaming是Hadoop发行包的一个功能。Hadoop Streaming的作用是，可以使用任何可运行程序或脚本作为Mapper和/或Reducer来创建和执行MapReduce作业。例如：$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/contrib/streaming/hadoop-streaming
原创
2016-06-21 11:13:57
1170阅读
使用Spark Streaming统计HDFS文件的词频Demo02_HDFSWordCountpackage cn.kgc.s
原创
2022-11-02 14:52:26
154阅读
本文从3方面介绍在生产中常用的Spark Streaming调优方式，减少批数据的执行时间（数据并行接受、数据并行处理、数据序列化），设置合理的批容量以及内存参数调优。
原创
2024-04-22 10:55:35
173阅读
GraphThe gt-graph package defines the concept of a graph (or network) made up of GeoTools Features.gt-graph包定义了由GeoTools要素构成的图（或网络）的概念。Maven:<dependency>
<groupId>org.geotools&
转载
2024-05-09 23:34:52
192阅读
与RDD类似，DStreams还允许开发人员将流数据保留在内存中。也就是说，在DStream上调用persist() 方法会自动将该DStream的每
原创
2024-04-22 10:55:38
78阅读
本期内容：1. Spark Streaming架构 2. Spark Streaming运行机制 Spark大数据分析框架的核心部件： spark Core、spark Streaming流计算、GraphX图计算、MLlib机器学习、Spark SQL、Tachyon文件系统、SparkR计算引擎等主要部件. Spark&n
转载
2024-01-30 19:18:58
10000+阅读
近日，阿里巴巴开源了面向图神经网络（GNN）的框架Graph-Learn（GL，原AliGraph）。该框架由阿里内部团队研发，面向工业场景而设计，为当下主流GNN算法提供了基础运行框架。由于起源于工业界，GL天然支持大规模图数据、异构图、属性图等十分必要但棘手、而当下深度学习框架（TensorFlow、PyTorch等）又不擅长的问题。同时，考虑到上层NN极具面向业务定制化的特点，GL支持与任意
转载
2023-07-20 20:24:02
27阅读
