凤凰涅槃
1.环境介绍（1）操作系统RHEL6.2-64（2）两个节点：spark1(192.168.232.147),spark2(192.168.232.152)（3）两个节点上都装好了Hadoop 2.2集群2.安装Zookeeper（1）下载Zookeeper：http://apache.claz.org/zookeeper ... keeper-3.4.5.tar.gz（2）解压到/root/in
1.重启系统；按上下键选择要修改的操作系统，一般为第一个，然后按e进入编辑状态，删除rhgb和quiet， 添加init=/bin/bash;然后ctrl+x；2.挂在mount输入命令：mount -o remount,rw /3.使用passwd修改密码键入命令：passwd 输入新的密码两次；这是会看到小白快或者说是乱码，不要惊慌，继续就好4.然后键入命令：touc
参考来自hadoop官方网文档http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html#cpFS ShellcatchgrpchmodchowncopyFromLocalcopyToLocalcpdudusexpungegetgetmergelslsrmkdirmovefromLocalmvputrmrmrsetrepstattailtestt
cat命令是linux下的一个文本输出命令，通常是用于观看某个文件的内容的；cat主要有三大功能：1.一次显示整个文件。$ cat filename2.从键盘创建一个文件。$ cat > filename只能创建新文件,不能编辑已有文件.3.将几个文件合并为一个文件。$cat file1 file
/etc/profile、/etc/bashrc、~/.bash_profile、~/.bashrc很容易混淆，他们之间有什么区别？它们的作用到底是什么？/etc/profile: 用来设置系统环境参数，比如$PATH. 这里面的环境变量是对系统内所有用户生效的。/etc/bashrc: 这个文件设置系统bash shell相关的东西，对系统内所有用户生效。只要用户
hadoop-2.6.0基准测试 1.测试程序的帮助信息[hadoop@tong1 hadoop-2.6.0]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.6.0-tests.jar An example program must be given as t
linux命令之set x详解set -x与set +x指令 用于脚本调试。set是把它下面的命令打印到屏幕set -x 是开启 set +x是关闭 set -o是查看 (xtrace)，set去追中一段代码的显示情况。执行set -x后，对整个脚本有效。[root@mybox bin]# ls -l /bin/bash+ ls --color=tty -l /bin/bas
SSH无需密码密钥登录摘录一在192.168.42.142机器上1)运行：ssh-keygen -t rsa2)然后拍两下回车（均选择默认）3)运行： ssh-copy-id -i /root/.ssh/id_rsa.pub root@192.168.42.163或普通用户:ssh-copy-id NAME@IP4)再输入163机器上的root密码此时，再ssh 到163机器，则不需要密
一、创建hadoop用户并配置ssh无密钥登录。http://yntmdr.blog.51cto.com/3829621/1631908二、安装jdk三、解压hadoop压缩包tar -xf hadoop-2.6.0.tar.gz修改拥有者chown -R hadoop:hadoop hadoop-2.6.0四、添加hadoop环境变量编辑/etc/profile文件追加HADOOP_HOME=/
目前Apache Spark支持三种分布式部署方式，分别是standalone、spark on mesos和 spark on YARN。其中，第一种类似于MapReduce 1.0所采用的模式，内部实现了容错性和资源管理，后两种则是未来发展的趋势，部分容错性和资源管理交由统一的资源管理系统完成：让Spark运行在一个通用的资源管理系统之上，这样可以与其他计算框架，比如MapReduce，公用一
spark单机部署问题1.端口不能绑定$SPARK_HOME/bin/run-example SparkPi 1015/02/27 16:14:36 INFO Remoting: Starting remoting15/02/27 16:14:36 ERROR NettyTransport: failed to bind to bt-199-037.bta.net.cn/202.106.199.3
注：下载地址：http://downloads.typesafe.com/scala/2.11.6/scala-2.11.6.tgz?_ga=1.41078626.1125902863.1429259252可采用#wget "下载地址" 方法下载到指定位置下载 scala-2.11.6.tgz 并 保存到/usr/local/src目录.1、解压#tar -zxf scala-2.11.6.tgz
安装操作系统CentOS 6.2 CentOS-6.2-i386-bin-DVD1.iso32位 CentOS-6.2-x86_64-bin-DVD1.iso64位安装 CentOS时选择 “Basic Server”root密码root123CentOS 自带了ssh安装完操作系统后添加一个用户 manong1[root@localhost ~]$ useradd
1、查看Linux自带的JDK是否已安装# java -version2、查看JDK信息# rpm -qa | grep java显示：java-x.x.x-gcj-compat-x.x.x.x-xxjpp.xxxjava-x.x.x-openjdk-x.x.x.x-x.x.bxx.exx3、卸载（有几个卸载几个）# rpm -e --nodeps java-x.x.x-gcj-compat-x.
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号
