我在本地写了个 Spark 的 Driver,运行 local 模式没问题,当把 master 改成了远程的 spark://ip:7077 就会卡主,报下面这个 WARN:
Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
到 Spark 界面上发现资源足够,我也只是读了个小的 csv 文件,因此不是资源的问题,而是网络的问题,是 Spark 集群的网络连接不到我的电脑。
打包放到 Spark 集群上运行就可以了。
欢迎关注个人公众号:数据库漫游指南