我在本地写了个 Spark 的 Driver,运行 local 模式没问题,当把 master 改成了远程的 spark://ip:7077 就会卡主,报下面这个 WARN:

Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

到 Spark 界面上发现资源足够,我也只是读了个小的 csv 文件,因此不是资源的问题,而是网络的问题,是 Spark 集群的网络连接不到我的电脑。

打包放到 Spark 集群上运行就可以了。

欢迎关注个人公众号:数据库漫游指南

Spark:Initial job has not accepted any resources_前端 大数据 系统 编程语言