打包算是必备的一个技能吧，只会写程序怎么行，打包又分为打 jar 包和打 war 包，这里使用的工具是 IDEA，真是用了 IDEA 后再也回不去了打Jar常用的几种方式：用IDEA自带的打包形式用Maven插件maven-shade-plugin打包用Maven插件maven-assembly-plugin打包用IDEA自带的打包方式打开IDEA的file -> Project Struc
由于这是我自己随手记录的，所以显得比较乱，但是步骤基本都有，排版就以后再说。重试一次，自定义jar包程序运行。1.建立scala项目2.添加spark下的jar包依赖【usr/local/spark/jars】,当然也有scala的sdk，一般我这边已经有了 写程序：我终于，可以从头到尾，自己写下来所有的API。并且运行成功。 接下来开始打包，先注释掉，setMaster（“local”) mai
# 如何使用IDEA提交Spark on YARN程序的完整流程
在大数据领域，Apache Spark是一款强大的分布式计算框架，而YARN（Yet Another Resource Negotiator）则是其负责人之一，使得Spark可以在大规模数据集上运行。当我们想要在IDEA（IntelliJ IDEA）这个开发环境中提交Spark程序到YARN上时，需遵循一定的操作流程。以下是实现这
