1.Spark SQL出现的 原因是什么? Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个叫作Data Frame的编程抽象结构数据模型(即带有Schema信息的RDD)，Spark SQL作为分布式SQL查询引擎，让用户可以通过SQL、DataFrame API和Data ...
转载
2021-06-06 00:16:00
162阅读
2评论
Spark Day06：Spark Core01-[了解]-昨日课程内容回顾主要讲解三个方面内容：Sogou日志分析、外部数据源（HBase和MySQL）和共享变量。1、Sogou日志分析 以搜狗官方提供用户搜索查询日志为基础，使用SparkCore（RDD）业务分析 数据格式： 文本文件数据，每条数据就是用户搜索时点击网页日志数据 各个字段之间使用制表符分割 业务需求： - 搜索关键词统计，涉及知识点中文分词：HanLP - 用户搜索点击统计 - 搜索时间段统计 编
原创
2021-06-21 10:36:26
215阅读
1、Operation category READ is not supported in state standby是什么原因导致的org.apache.hadoop.ipc.RemoteExc
原创
2019-04-11 10:22:34
146阅读
一、SQL语句 ### SQL语句 ~~~ 总体而言：SparkSQL与HQL兼容；与HQL相比，SparkSQL更简洁。 ~~~ createTempView、createOrReplaceTempView、spark.sql("SQL") 二、SQL语句执行说明 三、编程实现 ### 编程实现
转载
2022-04-25 10:25:01
43阅读
文章目录Spark Day06：Spark Core01-[了解]-内容回顾02-[了解]-内容提纲03-[掌握]-Spark 内核调度之引例WordCount04-[掌握]-Spark 内核调度之RDD 依赖05-[掌握]-Spark 内核调度之DAG和Stage06-[了解]-Spark 内核调度之Spark Shuffle07-[掌握]-Spark 内核调度之Job 调度流程08-[掌握]-
原创
2022-03-30 15:59:36
177阅读
本文已经加入「大数据成神之路PDF版」中提供下载。你可以关注公众号，后台回复：「PDF」即可获取。更多PDF下载可以参考：《重磅,大数据成神之路PDF可以分类下载啦!》Spark重点难点系...
原创
2021-12-31 09:20:25
10000+阅读
1.Spark SQL出现的 原因是什么? 随着Spark的发展，对于野心勃勃的Spark团队来说，Shark对于Hive的太多依赖（如采用Hive的语法解析器、查询优化器等等），制约了Spark的One Stack Rule Them All的既定方针，制约了Spark各个组件的相互集成，所以提出 ...
转载
2021-05-13 23:04:42
208阅读
2评论
1.Spark SQL出现的 原因是什么?答：（1）Shark执行计划优化完全依赖于Hive，不便于添加新的优化策略。 （2）Spark是线程级并行，MapReduce是进程级并行，因此，Spark在兼容Hive的实现上存在线程安全问题，导致Shark不得不使用另外一套独立维护的、打了补丁的Hive源码分支。 （3）Shark的实现继承了大量的Hive代码，因而给优化和维护带来了大量的麻烦，特
转载
2021-05-10 17:16:29
237阅读
2评论
前言最近尝试 将 应用切换到 standalone 的 spark 集群上面 遇到了一些问题, 呵呵 记录下来standalone 集群基于 镜像singula
原创
2024-03-15 14:51:15
169阅读
说明学习使用spark对数据进行描述性统计，在进行机器学习模型的训练之前，可以了解数据的总体情况本章主要讲解
原创
2022-07-09 00:22:54
87阅读
Spark 通信架构 1、spark 一开始使用 akka 作为网络通信框架，spark 2.X 版本以后完全抛弃 akka，而使用 netty 作为新的网络通信框架。最主要原因：spark 对 akka 没有维护，需要 akka 更新，spark 的发展受到了 akka 的牵制，akka 版本之间
转载
2019-05-02 21:00:00
117阅读
2评论
方法的定义 语句块 public class Test{ public void main(String[] args){ } } 方法声明格式： 返回值类型 方法名(形式参数列数){ Java语句; } 方法的重载(overload) public class TestOverload{ publ ...
转载
2021-07-25 13:15:00
122阅读
2评论
1.下载压缩文件 2.解压 3.修改文件夹名 4.修改文件夹权限 5.配置环境变量 6.伪分布式配置文件 7.启动HDFS，启动Hbase 8.进入shell界面 9.停止Hbase，停止HDFS运行 ...
转载
2021-11-02 16:51:00
84阅读
2评论
1.下载压缩文件 2.解压 3.修改文件夹名 4.修改文件夹权限 5.配置环境变量 6.伪分布式配置文件 7.启动HDFS，启动Hbase 8.进入shell界面 9.停止Hbase，停止HDFS运行 1 2 3 4 5 6 7 8 9 ...
转载
2021-11-02 18:49:00
115阅读
2评论
一、集群模式--Standalone模式 ### 集群模式--Sta
原创
2022-04-13 16:10:01
103阅读
一、Key-Value RDD操作 ### Key_Value RDD操作 ~~~ RDD整体上分为 Value 类型和 Key-Value 类型。 ~~~ 前面介绍的是 Value 类型的RDD的操作， ~~~ 实际使用更多的是 key-value 类型的RDD，也称为 PairRDD。 ~~~
原创
2022-04-25 10:34:50
72阅读
一、SparkContext ### SparkContext内部组件 ~~~ Spark应用程序的第一步就是创建并初始化SparkContext， ~~~ SparkContext的初始化过程包含了内部组件的创建和准备， ~~~ 主要涉及网络通信、分布式、消息、存储、计算、调度、缓存、度量、清理、
原创
2022-04-24 17:52:42
59阅读
1.下载压缩文件 2.解压 3.修改文件夹名 4.修改文件夹权限 5.配置环境变量 6.伪分布式配置文件 ...
转载
2021-11-02 19:14:00
69阅读
2评论
今日内容概要 django测试环境搭建 单表查询关键字 神奇的双下划綫查询 图书管理系统表设计 外键字段的增删改查 基于对象的跨表查询(子查询) 基于下划线的跨表查询(连表查询) 聚合查询 分组查询 F与Q查询 今日内容详细 django测试环境搭建 ps: 1.pycharm链接数据库都需要提前下 ...
转载
2021-08-16 14:43:00
48阅读
