通过Java API来访问HDFS1.Windows上配置环境变量 解压Hadoop，然后把Hadoop的根目录配置到HADOOP_HOME环境变量里面 然后把HADOOP_HOME/lib和HADOOP_HOME/bin配置到path里面2.替换bin目录 将官网下载的Hadoop目录下面的bin目录替换成Windows下编译的Hadoop的bin目录： 我已经上传了自己编译好的hado
spark并行度指的是什么？并行度：其实就是指的是，spark作业中，各个stage的task数量，也就代表了sprark作业的各个阶段（stage)的并行度。如果不调节，那么导致并行度过低，会怎么样？假设，现在已经在spark-submit脚本中给我们的spark作业分配了足够的资源，比如50个executor,每个executor有10G内存，每个executor有3个cpu core.基本已
转载
2023-08-08 09:29:02
304阅读
