下载spark1.0.0的 spark-1.0.0-bin-hadoop1版本 解压到目录
在conf/spark-evn.sh下添加
44export JAVA_HOME=/usr/local/java/jdk1.8.0_51
45export SCALA_HOME=/usr/local/spark/scala-2.12.0-M4
46export HADOOP_CONF_DIR=/usr/local/hadoop/hadoop-1.2.1/conf
47export SPARK_WORKER_MEMORY=1g
48export SPARK_MASTER_IP=you_master_ip
sbin/start-all.sh
启动
jps查看，有Worker
测试，统计README.md文件中包含Spark的行数
打开http://nlp:4040/
上传一个文件hadoop fs -put /spark/README.md /user/root/
bin/spark-shell进入spark shell
sc即SparkContext实例，可直接使用
val file = sc.textFile("hdfs://nlp:9008/user/root/README.md")
val sparks = file.filter(line => line.contains("Spark"))
#sparks.cache //使用spark缓存，速度会得到巨大提升
sparks.count
