塞上江南o的博客_Spark

SparkCore 阶段练习：广告点击Top3

spark

List

apache

原创 2022-12-28 15:35:24 88 阅读

Spark join和cogroup

spark

数据

等值连接

原创 2022-12-28 15:35:19 97 阅读

Spark groupByKey

spark

apache

配置文件

原创 2022-12-28 15:35:14 70 阅读

Saprk flatMap

spark

List

扁平化

原创 2022-12-28 15:35:09 93 阅读

Spark SQL 代码读取mysql&代码读取hive

spark

hive

mysql

原创 2022-12-28 15:33:54 115 阅读

SparkCore项目实战需求一Top10热门品类需求二Top10热门品类下每个品类的Top10活跃用户统计需求三计算页面单跳转换率

spark

1024程序员节

数据

apache

原创 2022-12-28 15:33:49 242 阅读

spark outline

spark

SQL

原语

原创 2022-12-28 15:33:38 111 阅读

Spark DStream输出原语-foreachRDD&使用SparkSQL处理采集周期中的数据

spark

apache

数据

原创 2022-12-28 15:33:26 41 阅读

spark 广播变量

spark

List

apache

原创 2022-12-28 15:33:22 87 阅读

RDD Cache缓存 CheckPoint检查点缓存和检查点区别检查点存储到HDFS集群

spark

缓存

检查点

原创 2022-12-28 15:33:17 100 阅读

spark 累加器

spark

ide

数据

原创 2022-12-28 15:33:13 115 阅读

spark 读取json 读取MySQL 写入MySQL

IO读取jsonpackage com.xcu.bigdata.spark.core.pg02_ioimport org.apache.spark.rdd.RDDimport org.apache.spark.{

spark

MySQL

bc

原创 2022-12-28 15:33:09 154 阅读

spark 血缘窄依赖宽依赖 Spark job 划分 DAG有向无环图

spark 窄依赖宽依赖 Spark job 划分 DAG有向无环图

spark

有向无环图

数据

原创 2022-12-28 15:33:02 143 阅读

spark 序列化序列化方法和属性 Kryo序列化框架

spark

序列化

apache

原创 2022-12-28 15:32:58 260 阅读

spark Action 行动算子

spark

数组

apache

原创 2022-12-28 15:32:54 232 阅读

Spark mapValues

spark

apache

List

原创 2022-12-28 15:32:46 76 阅读

Saprk reduceByKey、aggregateByKey、foldByKey、combineByKey 小结

Saprk core Transformation 转换算子RDD整体上分为Value类型、双Value类型和Key-Value类型Key-Value类型总结：reduceByKey、aggregateByKey、foldByKey、combineByKey

spark

原创 2022-12-28 15:32:43 66 阅读

Spark foldByKey

spark

apache

List

原创 2022-12-28 15:32:40 68 阅读

Spark sortByKey

spark

apache

List

原创 2022-12-28 15:32:34 69 阅读

Spark combineByKey

spark

apache

List

原创 2022-12-28 15:32:30 36 阅读

Spark aggregateByKey

spark

区间求和

apache

原创 2022-12-28 15:32:26 69 阅读

SparkSQL项目实战：TopN

spark

ci

ide

原创 2022-12-28 15:31:28 134 阅读

Spark SQL API SQL & DSL风格 RDD DF DS 三者之间的转换用户自定义函数UDF UDAF

spark

apache

sql

原创 2022-12-28 15:31:23 83 阅读

Spark DStream创建通过队列自定义数据源 Kafka数据源

spark

kafka

apache

原创 2022-12-28 15:31:18 69 阅读

Spark Streaming项目实战项目一每天每地区热门广告Top3 项目二最近12s广告点击量实时统计

Spark Streaming项目实战项目描述本实战项目实时分析处理用户对广告点击的行为数据。项目数据生成方式使用代码的方式持续的生成数据，然后

spark

kafka

apache

原创 2022-12-28 15:31:08 131 阅读

Spark 无状态化转换原语&有状态转化原语

spark

原语

apache

原创 2022-12-28 15:31:01 100 阅读

Spark 内核

spark

数据

客户端

原创 2022-12-28 15:30:45 58 阅读

Spark reduceByKey

spark

apache

List

原创 2022-12-28 15:30:40 84 阅读

Spark partitionBy

spark

apache

List

原创 2022-12-28 15:30:37 39 阅读

Spark union并集, subtract差集, intersection交集, zip拉链

spark

并集

apache

原创 2022-12-28 15:30:34 85 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

guo1319017333的博客

SparkCore 阶段练习：广告点击Top3

Spark join和cogroup

Spark groupByKey

Saprk flatMap

Spark SQL 代码读取mysql&代码读取hive

SparkCore项目实战需求一Top10热门品类需求二Top10热门品类下每个品类的Top10活跃用户统计需求三计算页面单跳转换率

spark outline

Spark DStream输出原语-foreachRDD&使用SparkSQL处理采集周期中的数据

spark 广播变量

RDD Cache缓存 CheckPoint检查点缓存和检查点区别检查点存储到HDFS集群

spark 累加器

spark 读取json 读取MySQL 写入MySQL

spark 血缘窄依赖宽依赖 Spark job 划分 DAG有向无环图

spark 序列化序列化方法和属性 Kryo序列化框架

spark Action 行动算子

Spark mapValues

Saprk reduceByKey、aggregateByKey、foldByKey、combineByKey 小结

Spark foldByKey

Spark sortByKey

Spark combineByKey

Spark aggregateByKey

SparkSQL项目实战：TopN

Spark SQL API SQL & DSL风格 RDD DF DS 三者之间的转换用户自定义函数UDF UDAF

Spark DStream创建通过队列自定义数据源 Kafka数据源

Spark Streaming项目实战项目一每天每地区热门广告Top3 项目二最近12s广告点击量实时统计

Spark 无状态化转换原语&有状态转化原语

Spark 内核

Spark reduceByKey

Spark partitionBy

Spark union并集, subtract差集, intersection交集, zip拉链