1.安装环境介绍硬件环境：两台四核cpu、4G内存、500G硬盘的虚拟机。软件环境：64位Ubuntu12.04LTS；主机名是spark1和spark2，IP地址是1**.1*.**.***/***。JDK版本是1.7。Hadoop2.2已经成功部署到集群上。详细的部署过程可以参考另一篇文档《Yarn安装部署》。2、安装Scala2.9.31）在/home/test/spark目录下运行wgethttp://www.scala-lang.org/downloads/distrib/files/scala-2.9.3.tgz命令下载二进制包斯卡拉。2）解压下载的文件并配置环境变量：编辑/etc/profile文件，添加如下内容：exportSCALA_HOME=/home/test/spark/scala/scala-2.9.3exportPATH=$SCALA_HOME/bin3）运行source/etc/profile使对环境变量的更改立即生效。在spark2上做同样的事情，安装scala。3.在http://d3kbcqa49mib13.cloudfront.net/spark-0.8.1-incubating-bin-hadoop2.tgz下载编译好的spark文件。下载后解压。4、配置conf/spark-env.sh环境变量，添加如下内容：exportSCALA_HOME=/home/test/spark/scala/scala-2.9.35。在/etc/profile中配置SPARK_EXAMPLES_JAR和spark环境变量：添加如下内容：exportSPRAK_EXAMPLES_JAR=/home/test/spark/spark-0.8.1-incubating-bin-hadoop2/examples/target/scala-2.9.3/spark-examples_2.9.3-assembly-0.8.1-incubating.jarexportSPARK_HOME=/home/test/spark/spark-0.8.1-incubating-bin-hadoop2exportPATH=$SPARK_HOME/bin6。修改/conf/slaves文件，在文件中添加如下内容：spark1spark27。使用scp命令将上述文件复制到spark节点scp-rspark-0.8.1-incubating-bin-hadoop2test@spark2:/home/test/spark同路径下：8.在spark1和spark上启动spark集群检查进程是否启动成功。下面master和worker已经成功启动。用浏览器打开http://1**.**.*.***:8080/，显示如下：可以看到集群中的两个从节点已经成功启动。9、运行spark自带的example：./run-exampleorg.apache.spark.examples.SparkPispark://master:7077结果如下：可以在web中看到刚才运行的job界面如下：原文链接：http://blog.csdn.net/zhxue123/article/details/19199859
