创建目录 hadoop dfs -mkdir /home 上传文件或目录到hdfs hadoop dfs -put hello / hadoop dfs -put hellodir/ / 查看目录 hadoop dfs -ls / 创建一个空文件 hadoop dfs -touchz /361way 删除一个文件 hadoop dfs -rm /361way 删除一个目录
#1.删除hdp.repo和hdp-util.repo cd /etc/yum.repos.d/rm -rf hdp*rm -rf HDP*#rm -rf ambari*#2.删除安装包 #用yum list installed | grep HDP来检查安装的ambari的包y
Elasticsearch安装篇1.先去elasticsearch 官网 https://www.elastic.co/Jar下载http://jcenter.bintray.com/org/elasticsearch/elasticsearch-hadoop下载好后 直接解压tar -zxvf elasticsearch-2.4.3.tar.gz修
首先去这个网站下载elasticsearch-hadoop-2.0.2.jar可以用maven下载<dependency><groupId>org.elasticsearch</groupId><artifactId>elasticsearch-hadoop</artifactId><version>2.0.2</ver
官方升级文档：http://docs.hortonworks.com/HDPDocuments/Ambari-2.4.0.1/bk_ambari-upgrade/content/adding_grafana_to_ambari_metrics.html0、升级mysql到5.61、停止服务。 停止ambari-server、所有ambari-agent &nbs
首先下载源tar包 可利用Linux自带下载工具wget下载，如下所示：1# wget http://www.python.org/ftp/python/2.7.3/Python-2.7.3.tgz 本人也提供了下载地址： 下载完成后到下载目录下，解压1tar -xvjf Python-2.7.3.tar.bz22 进入解压缩后的文
http://www.cnblogs.com/ggjucheng/archive/2012/04/17/2454590.html
http://www.jos.org.cn/html/2014/4/4558.htm各类开发工具介绍：http://blog.csdn.net/woshiwanxin102213/article/details/19688393#t7http://spark.apache.org/docs/latest/streaming-kafka-integration.htmlhttp://spark.ap
import scala.math.randomimport org.apache.spark._object SparkPi { def main(args: Array[String]) { val conf = new SparkConf().setAppName("Spark Pi") val spark = new Spar
import org.apache.spark.{SparkContext, SparkConf}import org.apache.spark.streaming.{Seconds,StreamingContext}import org.apache.spark.storage.StorageLevel val conf=new SparkConf().se
import org.apache.spark.storage.StorageLevelimport org.apache.spark.streaming.dstream.ReceiverInputDStreamimport org.apache.spark.streaming.{StreamingContext, Seconds}import org.apache.spark.{SparkCon
参阅网址http://blog.chinaunix.net/uid-26275986-id-3957283.htmlhttp://blog.csdn.net/cruise_h/article/details/19046357停止：zkServer.sh stop启动：zkServer.sh start查看进程：zkServer.sh statuszookeeper:leader,follower
参阅网址http://blog.csdn.net/itleochen/article/details/18407063http://www.bkjia.com/yjs/947570.htmlhttp://www.aboutyun.com/thread-12882-1-1.htmlhttp://www.cnblogs.com/davidwang456/p/4238536.html/usr/local
<property> <name>hbase.rootdir</name> <value>hdfs://master:9000/
./spark-submit --master <master地址加端口号> jar包地址unzip sparkpi.jarrm -rf *.classbin./spark-submit --master spark://master:7077 --class SparkPi /root/IdeaProjects/sparkpi/out/artifacts/sparkpi_jar/sp
ubuntu上安装mysql非常简单只需要几条命令就可以完成。 1. sudo apt-get install mysql-server 2. apt-get isntall mysql-client 3. sudo apt-get install libmysqlclient-dev 安装过程中会提示设置密码什么的，注意
Docker部署文档 1. 在CentOS7上安装在线安装命令：yum –y install docker启动systemctl startdocker导入镜像：docker load <centos7_tomcat7.tar说明：< 后面的centos7_tomcat7.iptar要写cen
（1）安装环境 操作系统：Linux（centos6.5） JDK版本：1.7.0_45 Hadoop版本：hadoop2.6.0 Sq
jps查看进程缺少datanode项
ifconfig 没有eth0 以及设置eth0
问题描述：开启Hadoop时，出现如下信息：[root@hd-m1 /]# ./hadoop/hadoop-2.6.0/sbin/start-all.sh This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh15/01/23 20:23:41 WARN util.NativeCodeLoader: Un
ssh 集群实现无密登陆
ssh 无密码验证
Agent admitted failure to sign using the key.
ssh 无密码验证 及 ssh localhost 仍然需要密码的解决方案
Ubuntu更新出现 The system is running in low-graphics mode解决一第一步：出现上面的界面的时候 ： 按ctrl +alt+f1第二步：按照相应的显卡输入以下命令1.对于最新的Nvidia二进制驱动：sudo add-apt-repository ppa:ubuntu-x-swat/x-updatessudo apt-get updatesudo apt
Spark、Hadoop自学历程
Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号
