breakDawn的博客_大数据_51CTO博客

鸿蒙开发者社区

WOT技术大会

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 24年11月软考 PMP项目管理免费题库

在线学习

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO软考

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

51CTO软考题库

51CTO博客

首页
关注
排行榜
精品课程
免费直播
软考题库

科目全、试题精、讲解专业，扫码免费刷

搜索历史清空

热门搜索

查看【】的结果
写文章
创作中心
登录注册

# 大数据

apache beam 个人使用经验总结目录和入门指导（Java）

根据个人一年来使用apache beam的经验，简单写了一批apache beam的入门文章，

apache

数据

官网

原创 2022-09-26 15:18:32 134 阅读

apache beam入门之组装数据变换过程

目录：apache beam 个人使用经验总结目录和入门指导（Java）当我们通过option新建的pipeline后，需要进行一系列式组装，

数据

序列化

ide

原创 2022-09-26 10:22:44 58 阅读

apache beam入门之窗口水位线和超时数据概念

apache beam入门之窗口水位线和超时数据概念

目录：apache beam 个人使用经验总结目录和入门指导（Java）上一章讲了窗口概念，这一章要接着窗口中很重要的窗口水位线和超时数据概念。beam如何确

数据

kafka

时间戳

原创 2022-09-26 10:22:38 164 阅读

图解Spark的task是怎么分发到各节点上并执行的

图解Spark的task是怎么分发到各节点上并执行的

假设此时已经构建好DAG划分好stage，接着就是要分发task了。当运行submitTask时，有如下的过程：上图可以看到，每次都会新建

数据

随机处理

资源分配

原创 2022-09-26 10:22:33 278 阅读

apache beam入门之程序入口——PipelineOption

apache beam入门之程序入口——PipelineOption

前置章节apache beam入门宝典之初次使用从第一章里我们看到最开始需要生成1个PipelineOption,然后才能生成1个Pipeline，n类public interface MyTestOption extends Pipelin

数组

spark

计算引擎

原创 2022-09-26 10:21:51 89 阅读

图解sparkContext初始化

图解sparkContext初始化

之前看了半本书《深入理解Spark：核心思想与源码分析》，为什么说是半本，因为看不下去了，这本书太喜欢贴scala代码却不解释，但自己那时候不太了解如何去阅读源码，所以希望借助它学习一下。这里贴一贴学习的过程。sparkContext初始化的内容一些问题和思考Q： SparkConf配置信息来自哪些？A： spark-submit时spark-default.conf里的配置

spark

初始化

配置信息

原创 2022-09-26 10:20:42 100 阅读

图解spark RDD缓存管理cacheManager和磁盘管理DiskStore/DiskBlockManager

图解spark RDD缓存管理cacheManager和磁盘管理DiskStore/DiskBlockManager

RDD缓存管理cacheManager当需要计算RDD时，需要避免重复计算的RDD。什么时候RDD可能会被重复计算？一

缓存

spark

数据

原创 2022-09-26 10:20:27 57 阅读

spark——BlockManager笔记整理和学习

spark——BlockManager笔记整理和学习

spark的cacheManager这张图能知道什么？Q： spark对RDD的缓存是通过谁去做的？A：通过BlockManager去缓存，并且根据配置什么Blo

spark

缓存

内存不足

原创 2022-09-26 10:20:23 27 阅读

apache beam KafkaIO的使用（流处理IO）

apache beam KafkaIO的使用（流处理IO）

目录：apache beam 个人使用经验总结目录和入门指导（Java）这里我以下面这个为例，弄1个demo第一步建立option和pipeline

kafka

ide

bootstrap

原创 2022-09-26 10:20:05 82 阅读

apache beam 入门之数据集PCollection的拆分和合并

有时候我们会需要对PCollection数据集进行拆分，分别进行不同的计算后，再合并成1个数据集。拆分数据集拆分数据集有2种方式，1种

数据集

apache

数据

原创 2022-09-26 10:19:28 77 阅读

在Spark上运行apache beam

在Spark上运行apache beam

目录：apache beam 个人使用经验总结目录和入门指导（Java）为了方便，以下面这个名字替换的程序做简单例子：/** * The ReplaceMyName * 把Create数组里的myName替换成xxx

spark

apache

maven

原创 2022-09-26 10:07:53 65 阅读