Dear All,

We have a 11g, 2 node RAC database and we have installed clustered EM DB Control over it.

Today morning i found that the EM was not up and running. When i tried to start it, it showed me the following:

  1. -bash-3.00$ emctl status dbconsole 
  2. Oracle Enterprise Manager 11g Database Control Release 11.1.0.7.0 
  3. Copyright (c) 1996, 2008 Oracle Corporation.  All rights reserved. 
  4.  
  5. https://rgpdb1.rg.com:1158/em/console/aboutApplication 
  6.  
  7. Oracle Enterprise Manager 11g is not running. 
  8. ------------------------------------------------------------------ 
  9. Logs are generated in directory /pdb01/oraprod/db/tech_st/11.1.0/rgpdb1_rgprd1/sysman/log 
  10. -bash-3.00$ 
  11. -bash-3.00$ 
  12. -bash-3.00$ 
  13. -bash-3.00$ emctl start dbconsole 
  14. Oracle Enterprise Manager 11g Database Control Release 11.1.0.7.0 
  15. Copyright (c) 1996, 2008 Oracle Corporation.  All rights reserved. 
  16.  
  17. https://rgpdb1.rg.com:1158/em/console/aboutApplication 
  18.  
  19.  - An instance of Oracle Enterprise Manager 11g Database Control is already running. 
  20. -bash-3.00$ 
  21. -bash-3.00$ 
  22. -bash-3.00$ 
  23. -bash-3.00$ emctl stop dbconsole 
  24. Oracle Enterprise Manager 11g Database Control Release 11.1.0.7.0 
  25. Copyright (c) 1996, 2008 Oracle Corporation.  All rights reserved. 
  26.  
  27. https://rgpdb1.rg.com:1158/em/console/aboutApplication 
  28.  
  29. Stopping Oracle Enterprise Manager 11g Database Control ... 
  30.  ...  Stopped. 
  31. -bash-3.00$ 
  32. -bash-3.00$ 
  33. -bash-3.00$ 
  34. -bash-3.00$ emctl start dbconsole 
  35. Oracle Enterprise Manager 11g Database Control Release 11.1.0.7.0 
  36. Copyright (c) 1996, 2008 Oracle Corporation.  All rights reserved. 
  37.  
  38. https://rgpdb1.rg.com:1158/em/console/aboutApplication 
  39.  
  40. Starting Oracle Enterprise Manager 11g Database Control ............................................................................................. failed. 
  41. ------------------------------------------------------------------ 
  42. Logs are generated in directory /pdb01/oraprod/db/tech_st/11.1.0/rgpdb1_rgprd1/sysman/log 
  43. -bash-3.00$ 
  44. -bash-3.00$ 
  45. -bash-3.00$ 
  46. -bash-3.00$ 
  47. -bash-3.00$ emctl status dbconsole 
  48. Oracle Enterprise Manager 11g Database Control Release 11.1.0.7.0 
  49. Copyright (c) 1996, 2008 Oracle Corporation.  All rights reserved. 
  50.  
  51. https://rgpdb1.rg.com:1158/em/console/aboutApplication 
  52.  
  53. Oracle Enterprise Manager 11g is not running. 
  54. ------------------------------------------------------------------ 
  55. Logs are generated in directory /pdb01/oraprod/db/tech_st/11.1.0/rgpdb1_rgprd1/sysman/log 

emagent.trc shows following messages:

  1. 2011-01-11 12:47:50,837 Thread-251 ERROR pingManager: nmepm_pingReposURL: Cannot connect to https://rgpdb1.rg.com:1158/em/upload/: retStatus=-32 
  2. 2011-01-11 12:48:20,670 Thread-261 WARN  http: snmehl_connect: connect failed to (rgpdb1.rg.com:1158): Connection refused (error = 146
  3. 2011-01-11 12:48:20,670 Thread-261 ERROR pingManager: nmepm_pingReposURL: Cannot connect to https://rgpdb1.rg.com:1158/em/upload/: retStatus=-32 
  4. 2011-01-11 12:48:20,671 Thread-261 WARN  http: snmehl_connect: connect failed to (rgpdb1.rg.com:1158): Connection refused (error = 146
  5. 2011-01-11 12:48:20,671 Thread-261 ERROR pingManager: nmepm_pingReposURL: Cannot connect to https://rgpdb1.rg.com:1158/em/upload/: retStatus=-32 
  6. 2011-01-11 12:48:50,679 Thread-267 WARN  http: snmehl_connect: connect failed to (rgpdb1.rg.com:1158): Connection refused (error = 146
  7. 2011-01-11 12:48:50,679 Thread-267 ERROR pingManager: nmepm_pingReposURL: Cannot connect to https://rgpdb1.rg.com:1158/em/upload/: retStatus=-32 
  8. 2011-01-11 12:48:50,681 Thread-267 WARN  http: snmehl_connect: connect failed to (rgpdb1.rg.com:1158): Connection refused (error = 146
  9. 2011-01-11 12:48:50,681 Thread-267 ERROR pingManager: nmepm_pingReposURL: Cannot connect to https://rgpdb1.rg.com:1158/em/upload/: retStatus=-32 

I verified ports and found there was no issue. Then i got the solution from MOS(metalink):

Check the following processes:

  1. /usr/ucb/ps -axuww | grep emagent 
  2. /usr/ucb/ps -axuww | grep DEMS 

If the above commands return some running processes, kill them:

  1. -bash-3.00$ kill -9 17676 
  2. -bash-3.00$ kill -9 6600 

Then i tried the following commands:

  1. -bash-3.00$ emctl stop dbconsole 
  2. Oracle Enterprise Manager 11g Database Control Release 11.1.0.7.0 
  3. Copyright (c) 1996, 2008 Oracle Corporation.  All rights reserved. 
  4.  
  5. https://rgpdb1.rg.com:1158/em/console/aboutApplication 
  6.  
  7. Stopping Oracle Enterprise Manager 11g Database Control ... 
  8.  ...  Stopped. 
  9.  
  10. -bash-3.00$ emctl start dbconsole 
  11. Oracle Enterprise Manager 11g Database Control Release 11.1.0.7.0 
  12. Copyright (c) 1996, 2008 Oracle Corporation.  All rights reserved. 
  13.  
  14. https://rgpdb1.rg.com:1158/em/console/aboutApplication 
  15.  
  16. Starting Oracle Enterprise Manager 11g Database Control ...... started. 
  17. ------------------------------------------------------------------ 
  18. Logs are generated in directory /pdb01/oraprod/db/tech_st/11.1.0/rgpdb1_rgprd1/sysman/log 
  19.  
  20. -bash-3.00$ emctl status dbconsole 
  21. Oracle Enterprise Manager 11g Database Control Release 11.1.0.7.0 
  22. Copyright (c) 1996, 2008 Oracle Corporation.  All rights reserved. 
  23.  
  24. https://rgpdb1.rg.com:1158/em/console/aboutApplication 
  25.  
  26. Oracle Enterprise Manager 11g is running. 
  27. ------------------------------------------------------------------ 

I logged in and verified, EM was coming up fine.

Hope this helps.