在大数据技术框架当中，Spark是继Hadoop之后的又一代表性框架，也是学习大数据当中必学的重点技术框架。在这些年的发展当中，Spark所占据的市场地位，也在不断拓展。今天的Spark大数据在线培训分享，我们来对Spark运行原理做一个讲解。从发展现状来看，Spark已经成为广告、报表以及推荐系统等大数据计算场景中首选系统，因为效率高，易用性强，对于企业而言是一种低成本高回报的选择。
转载
2023-10-24 10:05:50
45阅读
Spark架构与作业执行流程简介 Local模式 运行Spark最简单的方法是通过Local模式（即伪分布式模式）。运行命令为：./bin/run-example org.apache.spark.examples.SparkPi local基于standalone的Spark架构与作业执行流程 Standalone模式下，集群启动时包括Master与Worker，其中Master负责接收客
转载
2024-03-06 13:30:09
121阅读
Spark系列-初体验（数据准备篇）Spark系列-核心概念一. Spark核心概念Master，也就是架构图中的Cluster Manager。Spark的Master和Workder节点分别Hadoop的NameNode和DataNode相似，是一种主从结构。Master是集群的领导者，负责协调和管理集群内的所有资源（接收调度和向WorkerNode发送指令）。从大类上来分Master分为lo
转载
2023-10-08 23:30:42
74阅读
Spark文档阅读之Spark Overview。学习Spark的使用方式、任务提交、cluster模式和相关术语。
Document: https://spark.apache.org/docs/latest/index.html
版本：2.4.5 1. spark的几种执行方式1）交互式shell：bin/spark-shellb
转载
2024-08-15 01:03:04
26阅读
0 引言在笔者的上一篇文章中Spring Security入门(二)：基于内存的认证一文中有提到过Spring Security实现自定义数据库查询需要你实现UserDetailsService接口，并实现loadUserByUsername(String username)抽象方法。我们可以在UserDetailsService接口的实现类中注入数据库访问对象Dao，从而实现自定义数据库查询认证
转载
2024-10-27 08:06:39
38阅读
一、Spark RDD概念
1、简单的解释RDD是将数据项拆分为多个分区的集合，存储在集群的工作节点上的内存中，并执行正确的操作2、复杂的解释RDD是用于数据转换的接口RDD指向了存储在HDFS、Cassandra、HBase等、或缓存（内存、内存+磁盘、仅磁盘等），或在故障或缓存收回时重新计算其他RDD分区中的数据3、RDD是弹性分布式数据集（1）分布式数据集RDD是只读的、分区记录的集合，每个
转载
2024-09-28 16:32:37
28阅读
安装成功后，在桌面鼠标右键就会看见Git Bash和Git GUI，打开Git Bash，进入bash界面。注册邮箱在git bash界面输入如下内容即可完成邮箱的注册：git config --global user.name "user.name"（说明：双引号中需要你的用户名）git config --global user.email "你的邮箱"说明： 双引号中需要输入你的有效邮箱）创建
IDEA 2021简单设置与优化将工具条显示在上方View–>Appearance–>Toolbar鼠标悬停显示File–>setting–>Editor–>General–>CodeCompletion–>勾选show zhe documentation popup in 1000 ms忽略大小写File–>setting–>Editor–&
转载
2023-08-27 16:05:10
104阅读
idea专业版2021.2终端无法输入命令，需设置Terminal的shell path 如图： 重启idea，终端就可使用了 ...
转载
2021-08-19 17:01:00
2057阅读
2评论
Git 和 Commit 合在一起，显示效果，设置方式 Setting -> Version Control -> Commit-> 取消 Use non-modal commit interface Git 和 Commit 分开，显示效果，设置方式 Setting -> Version Cont ...
转载
2021-10-10 20:59:00
4069阅读
2评论
解决方案如下，按图操作：操作后，效果图：重启idea，问题解决！如图上所示。
原创
2022-09-06 06:00:49
490阅读
背景使用 IDEA 开发时黄色预警：This inspection searches for redundant class fields that can be replaced with local variables,if all local usages of a field are preceded by assignments to that field,the field can be removed and its usages replaced with local variables
原创
2021-07-09 11:26:08
1736阅读
背景使用 IDEA 开发时黄色预警：This inspection searches for redundant class fields that can be repl
原创
2022-03-14 17:51:34
280阅读
报错信息如下:java.io.InvalidClassException: com.master.CurrentMessages; local class incompatible: stream classdesc serialVersionUID = -3227847930051618824, ...
转载
2015-04-13 08:08:00
107阅读
2评论
IDEA提交代码，一直卡着不动，显示：Commit Changes Dialog local changes refresh 修改方法为： go to settings version control background set changelists to cache initia
转载
2018-04-17 10:16:00
515阅读
1. 打包File -> Project Structure -> Artifact -> + -> JAR -> From module with dependencies选择一个Module，之后再选择一个主类选择要打包的依赖
原创
2022-10-28 12:08:18
298阅读
IDEA打开终端失败
原创
2023-04-01 08:14:48
1173阅读
合并分支前要全部提交 包括config.js 要不merge时候很麻烦 1 切换到master分支 C
原创
2022-08-29 16:48:09
750阅读
idea中，发布项目到码云上，当时按照这样的流程添加Git，然后push，提示：push to origin/master war rejected"。 解决方案如下： 1.切换到自己项目所在的目录，右键选择GIT BASH Here 2.在terminl窗口中依次输入命令： git pull gi
原创
2022-05-27 15:27:19
386阅读
# 解决 "idea SparkException: A master URL must be set in your configuration" 错误
## 问题背景
在使用Apache Spark进行开发时，有时候会遇到一个错误提示："idea SparkException: A master URL must be set in your configuration"。这个错误通常发生在
原创
2023-07-26 22:49:35
573阅读
