0577-5.16.1-使用Cloudera Manager配置自定义csd目录异常

原创

Hadoop实操 2022-09-22 15:07:59 ©著作权

©著作权归作者所有：来自51CTO博客作者Hadoop实操的原创作品，请联系作者获取转载授权，否则将追究法律责任

温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。

Fayson的github：
https://github.com/fayson/cdhproject

提示：代码块部分可以左右滑动查看噢

文档编写目的

自定义服务描述符(custom service descriptor，CSD)是Cloudera Manager用来描述某个产品的，比如Spark2，CDSW或者Kudu，包括Fayson在以前的文章中介绍过的自定义Livy的Parcel包，参考《0387-如何打包Livy和Zeppelin的Parcel包》。一个产品想集成到Cloudera Manager，必须具备csd文件，这样CM就可以支持该产品的配置，分发和监控。

csd文件默认放置在CM节点的/opt/cloudera/csd路径下，如果修改这个配置项，需要重启Cloudera Manager Server服务才能生效。本文主要描述修改该配置后导致CM服务起不来的异常，以及如何解决。

测试环境

1.CDH5.16.1

2.Redhat7.4

3.集群已启用Kerberos

问题重现

1.通过CM页面进入“管理”->“设置”，搜索csd。

0577-5.16.1-使用Cloudera Manager配置自定义csd目录异常_cloudera

2.将默认的目录/opt/cloudera/csd改为/opt/cloudera，保存配置。

0577-5.16.1-使用Cloudera Manager配置自定义csd目录异常_cloudera_02

0577-5.16.1-使用Cloudera Manager配置自定义csd目录异常_自定义_03

提示需要重启CM Server

3.重启CM Server

[root@ip-172-31-13-38 ~]# systemctl restart cloudera-scm-server

4.发现CM Server无法正常启动，查看日志发现有如下报错：

[root@ip-172-31-13-38 ~]# vim /var/log/cloudera-scm-server/cloudera-scm-server.log
2019-03-22 04:03:45,125 ERROR main:com.cloudera.csd.components.CsdLocalRepository: Failed to load CSD from /opt/cloudera/anaconda3, Error: java.io.FileNotFoundException: /opt/cloudera/anaconda3/pkgs/dbus-1.10.10-0/info/recipe/build.sh (Permission denied)
2019-03-22 04:03:45,126 WARN main:com.cloudera.csd.components.CsdLocalRepository: Skipping [/opt/cloudera/cm-agent]: { No descriptor found for csd [cm-agent] }
2019-03-22 04:03:45,128 WARN main:com.cloudera.csd.components.CsdLocalRepository: Skipping [/opt/cloudera/csd]: { No descriptor found for csd [csd] }
2019-03-22 04:03:45,138 WARN main:com.cloudera.csd.components.CsdLocalRepository: Skipping [/opt/cloudera/parcel-cache]: { No descriptor found for csd [parcel-cache] }

0577-5.16.1-使用Cloudera Manager配置自定义csd目录异常_cloudera_04

问题解决

1.登录MySQL，并进入到CM的Database，查询csd保存路径的配置信息。

[root@ip-172-31-13-38 ~]# mysql -u root -p
Enter password: 
Welcome to the MariaDB monitor.  Commands end with ; or \g.
Your MariaDB connection id is 19317
Server version: 5.5.60-MariaDB MariaDB Server

Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

MariaDB [(none)]> use cm;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed
MariaDB [cm]> select * from CONFIGS where ATTR='csd_repo_path';

0577-5.16.1-使用Cloudera Manager配置自定义csd目录异常_自定义_05

2.将VALUE更新到默认的值即/opt/cloudera/csd

MariaDB [cm]> update CONFIGS set VALUE='/opt/cloudera/csd' where ATTR='csd_repo_path';
MariaDB [cm]> select * from CONFIGS where ATTR='csd_repo_path';

0577-5.16.1-使用Cloudera Manager配置自定义csd目录异常_重启_06

3.重启CM Server

[root@ip-172-31-13-38 ~]# systemctl restart cloudera-scm-server

4.重启成功，可以正常访问CM，问题解决。

0577-5.16.1-使用Cloudera Manager配置自定义csd目录异常_cloudera_07

总结

通过Cloudera Manager修改“自定义服务描述符”配置后，直接重启CM Server后会导致CM起不来，通过查看CM日志可以发现，CM想要加载csd所在目录的一些csd文件，但因为目录找不到这些文件导致报错。要想先解决CM启动的问题，可以通过修改CM数据库的CONFIGS表将VALUE还原回以前的默认值来实现。