ambari系列--报错问题

hbase 启动不起来，通常是因为节点日期不同步。

HDFS 无法启动，通常是因为hdfs 进入了安全模式，需要先退出来，再启动。

hadoop dfsadmin -safemode leave 

repo源的地址是可以随时更改的。

更改路径：admin -> stacks and Versions -> Versions -> 点击框的右上角笔样编辑图标 . 替换对应repo的url即可。

如何删除节点(hosts)

顶部hosts 菜单 -> 点选相应的主机名 -> 右上角 host Actions -> delete host

新增节点如果是基于原有的镜像创建，需要做host cleanup .

如果发现datanode启动，但是不是live ， 很可能是新节点和其他节点配置冲突。这也就是为什么要做host cleanup 的原因。

另外，新添加的节点为非live, 不要试图通过调整namenode所在节点来解决，否则问题越来越多。

ambari.repo 指定了ambari的源； 通过在ambari web配置HDP源，自动生成 “HDP*.repo” 文件。

提示 /var/log/ambari-metrics-monitor/ambari-metrics-monitor.out 没有权限修改之类

这个问题，可以采取两种解决办法：

赋权： chown ams:hadoop  /var/log/ambari-metrics-monitor/ambari-metrics-monitor.out

在安装ambari metrics monitor 之前，先把这个文件删除。

本地用户administrator（本机windows用户）想要远程操作hadoop系统，没有权限引起的。

如果是测试环境，可以取消hadoop hdfs的用户权限检查。打开conf/hdfs-site.xml，找到dfs.permissions属性修改为false（默认为true）OK了。

ambari 界面上的 hdfs balancer 有时不管用。

可以通过手工执行命令来平衡：

 hadoop balancer 

ambari 可以通过 RESTful api 访问，例如：

 curl --user admin:admin http://10.0.2.11:8080/api/v1/clusters

ambari 每个组件的页面中间上方都有外部链接可以指向组件本身的管理和监控页面。

500 status code received on GET method for API: /api/v1/stacks/HDP/versions/2.4/recommendations 

Error message: Error occured during stack advisor command invocation: Cannot create /var/run/ambari-server/stack-recommendations

解决方案：sudo chown -R ambari /var/run/ambari-server

删除已安装服务：

Ambari 借鉴了很多成熟分布式软件的 API 设计。Rest API 就是一个很好地体现。通过 Ambari 的 Rest API，可以在脚本中通过 curl 维护整个集群。

目前 Ambari 不支持在 GUI 上面卸载已安装的 Service。所以当一个 Service 不再需要的时候，用户没法删除掉该 Service。幸运的是 Ambari 提供了 DELETE 的 Rest API，我们可以通过该 API 来删除 Ambari 中 Service。不过这里需要注意，这个方法只是从 Ambari Service 中删除了 Service。这样一来，Ambari 的 GUI 界面中不再显示这个 Service。但是 Service 本身还安装在 Agent 所在的机器。如果用户需要彻底的清除掉这个 Service，仍需要手工的到每个机器卸载（例如，在每个机器执行 yum erase）。

这里我以删除 SPARK 为例。卸载之前，需要确认是否停掉了该 Service。我们通过 GET 方法来得到这个结果（这里当然也可以直接从 GUI 上面看到 Service 状态）。具体的命令如下：

curl -u admin:admin -H "X-Requested-By: ambari" -X GET http://172.xx.xx.xx:8080/api/v1/clusters/hadoop1/services/SPARK

命令中的 172.xx.xx.xx 为 Ambari Server 的机器名（端口默认为 8080），hadoop1 为 cluster 名字，SPARK 为 Service 的名字。

在返回的报文中，可以看到 State 字段。如果是 INSTALLED，代表这个 Service 已经是停掉的状态。我们可以继续删除步骤。如果不是 INSTALLED，则需要先停掉这个 Service，可以从 WEB 上操作，也可以用 Rest API。

用 Rest API 停掉 Service 的命令格式如下，有兴趣的朋友可以尝试一下。

curl -u admin:admin -H "X-Requested-By: ambari" -X PUT -d '{"RequestInfo":{"context":"Stop Service"},"Body":{"ServiceInfo":{"state":"INSTALLED"}}}' http://172.xx.xx.xx:8080/api/v1/clusters/hadoop1/services/SPARK

执行如下命令删除 SPARK：

curl -u admin:admin -H "X-Requested-By: ambari" -X  DELETE  http://172.xx.xx.xx:8080/api/v1/clusters/hadoop1/services/SPARK

执行完成后，SPARK就从 Ambari 的 Service 里面删掉了，但是 SPARK 的 package 还存在于机器。

执行rpm -qa | grep spark

如果需要彻底清除掉 spark 的 package，则需要到各个 Agent 机器执行如下命令。

yum erase "spark*"

执行完后，这个 Service 就被彻底的清除掉了。

在web上查看一下

删除安装包：

对于安装了很多hadoop组件的话，这个工作很繁琐。接下来是我整理的清理过程。

1，通过ambari将集群中的所用组件都关闭，如果关闭不了，直接kill -9 XXX

2，关闭ambari-server，ambari-agent

ambari-server stop  

ambari-agent stop  

3，卸载安装的软件

yum remove hadoop_2* hdp-select* ranger_2* zookeeper* bigtop* atlas-metadata* ambari* postgresql spark*  

yum list | grep @HDP  

yum remove -y  sqoop.noarch  

yum remove -y  lzo-devel.x86_64  

yum remove -y  hadoop-libhdfs.x86_64  

yum remove -y  rrdtool.x86_64  

yum remove -y  hbase.noarch  

yum remove -y  pig.noarch  

yum remove -y  lzo.x86_64  

yum remove -y  ambari-log4j.noarch  

yum remove -y  oozie.noarch  

yum remove -y  oozie-client.noarch  

yum remove -y  gweb.noarch  

yum remove -y  snappy-devel.x86_64  

yum remove -y  hcatalog.noarch  

yum remove -y  python-rrdtool.x86_64  

yum remove -y  nagios.x86_64  

yum remove -y  webhcat-tar-pig.noarch  

yum remove -y  snappy.x86_64  

yum remove -y  libconfuse.x86_64    

yum remove -y  webhcat-tar-hive.noarch  

yum remove -y  ganglia-gmetad.x86_64  

yum remove -y  extjs.noarch  

yum remove -y  hive.noarch  

yum remove -y  hadoop-lzo.x86_64  

yum remove -y  hadoop-lzo-native.x86_64  

yum remove -y  hadoop-native.x86_64  

yum remove -y  hadoop-pipes.x86_64  

yum remove -y  nagios-plugins.x86_64  

yum remove -y  hadoop.x86_64  

yum remove -y  zookeeper.noarch      

yum remove -y  hadoop-sbin.x86_64  

yum remove -y  ganglia-gmond.x86_64  

yum remove -y  libganglia.x86_64  

yum remove -y  perl-rrdtool.x86_64

yum remove -y  epel-release.noarch

yum remove -y  compat-readline5*

yum remove -y  fping.x86_64

yum remove -y  perl-Crypt-DES.x86_64

yum remove -y  exim.x86_64

yum remove -y ganglia-web.noarch

yum remove -y perl-Digest-HMAC.noarch

yum remove -y perl-Digest-SHA1.x86_64

yum remove -y bigtop-jsvc.x86_64

4.删除快捷方式

cd /etc/alternatives

rm -rf hadoop-etc 

rm -rf zookeeper-conf 

rm -rf hbase-conf 

rm -rf hadoop-log 

rm -rf hadoop-lib 

rm -rf hadoop-default 

rm -rf oozie-conf 

rm -rf hcatalog-conf 

rm -rf hive-conf 

rm -rf hadoop-man 

rm -rf sqoop-conf 

rm -rf hadoop-conf

5，删除postgresql的数据

postgresql软件卸载后，其数据还保留在硬盘中，需要把这部分数据删除掉。

rm -rf /var/lib/pgsql  

6.删除用户

userdel oozie  

userdel hive  

userdel ambari-qa  

userdel flume    

userdel hdfs    

userdel knox    

userdel storm    

userdel mapred  

userdel hbase    

userdel tez    

userdel zookeeper  

userdel kafka    

userdel falcon  

userdel sqoop    

userdel yarn    

userdel hcat  

userdel atlas  

userdel spark  

rm -rf /home/atlas  

rm -rf /home/accumulo  

rm -rf /home/hbase  

rm -rf /home/hive  

rm -rf /home/oozie  

rm -rf /home/storm  

rm -rf /home/yarn  

rm -rf /home/ambari-qa  

rm -rf /home/falcon  

rm -rf /home/hcat  

rm -rf /home/kafka  

rm -rf /home/mahout  

rm -rf /home/spark  

rm -rf /home/tez  

rm -rf /home/zookeeper  

rm -rf /home/flume  

rm -rf /home/hdfs 

rm -rf /home/knox  

rm -rf /home/mapred  

rm -rf /home/sqoop   

7，删除ambari遗留数据

rm -rf /var/lib/ambari*   

rm -rf /usr/lib/python2.6/site-packages/ambari_*  

rm -rf /usr/lib/python2.6/site-packages/resource_management  

rm -rf /usr/lib/ambari-*  

rm -rf /etc/ambari-*   

8，删除其他hadoop组件遗留数据

rm -rf /etc/ambari-* 

rm -rf /etc/hadoop  

rm -rf /etc/hbase  

rm -rf /etc/hive   

rm -rf /etc/oozie  

rm -rf /etc/sqoop   

rm -rf /etc/zookeeper  

rm -rf /etc/flume   

rm -rf /etc/storm   

rm -rf /etc/hive-hcatalog  

rm -rf /etc/tez   

rm -rf /etc/falcon   

rm -rf /etc/knox   

rm -rf /etc/hive-webhcat  

rm -rf /etc/kafka   

rm -rf /etc/slider   

rm -rf /etc/storm-slider-client  

rm -rf /etc/spark   

rm -rf /var/run/spark  

rm -rf /var/run/hadoop  

rm -rf /var/run/hbase  

rm -rf /var/run/zookeeper  

rm -rf /var/run/flume  

rm -rf /var/run/storm  

rm -rf /var/run/webhcat  

rm -rf /var/run/hadoop-yarn  

rm -rf /var/run/hadoop-mapreduce  

rm -rf /var/run/kafka  

rm -rf /var/log/hadoop  

rm -rf /var/log/hbase  

rm -rf /var/log/flume  

rm -rf /var/log/storm  

rm -rf /var/log/hadoop-yarn  

rm -rf /var/log/hadoop-mapreduce  

rm -rf /var/log/knox   

rm -rf /usr/lib/flume  

rm -rf /usr/lib/storm  

rm -rf /var/lib/hive   

rm -rf /var/lib/oozie  

rm -rf /var/lib/flume  

rm -rf /var/lib/hadoop-hdfs  

rm -rf /var/lib/knox   

rm -rf /var/log/hive   

rm -rf /var/log/oozie  

rm -rf /var/log/zookeeper  

rm -rf /var/log/falcon  

rm -rf /var/log/webhcat  

rm -rf /var/log/spark  

rm -rf /var/tmp/oozie  

rm -rf /tmp/ambari-qa  

rm -rf /var/hadoop  

rm -rf /hadoop/falcon  

rm -rf /tmp/hadoop   

rm -rf /tmp/hadoop-hdfs  

rm -rf /usr/hdp  

rm -rf /usr/hadoop  

rm -rf /opt/hadoop  

rm -rf /tmp/hadoop  

rm -rf /var/hadoop  

rm -rf /hadoop  

清理yum数据源

#yum clean all  

通过以上清理后，重新安装ambari和hadoop集群（包括HDFS，YARN+MapReduce2，Zookeeper，Ambari Metrics，Spark）成功。