Logo

  • zengzhaozheng

    发布于:2014-12-30 18:31:36

    3

    Spark on Yarn ”爬坑“集锦(spark1.2)
    一、概述    Ha,已经有两个月没有更新blog了。由于近排公司需要引入Spark相关技术,我也是作为技术攻关人员之一,在这段时间使用Spark遇到了挺多问题,跌的坑也比较多,这篇blog主要总结一下这段时间使用Spark遇到的一些问题。二、遇到的"坑"和爬坑思路1、SparkSql on yarn-client模式遇到找不到mysql驱动包问题。解决方案
    精选文章 4499人阅读 评论(4) 收藏(0)
  • 菜菜光

    发布于:2014-12-07 13:36:05

    0

    nm ConcurrentModificationException crash的问题
      最近线上的的nm 有crash的问题,查看错误日志:2014-06-19 00:01:22,308 FATAL org.apache.hadoop.yarn.server.nodemanager.containermanager.localizer.ResourceLocalizationService: Error: Shutting&nbs
    精选文章 314人阅读 评论(0) 收藏(0)
  • 菜菜光

    发布于:2014-12-01 23:39:49

    0

    yarn local dirs的管理实现
      在yarn中对 yarn.nodemanager.local-dirs的状态更新操作,定义在 LocalDirsHandlerService(org.apache.hadoop.yarn.server.nodemanager.LocalDirsHandlerService)相关类中,在nm启动时,会启动一个LocalDirsHandlerService服务,循环检
    精选文章 643人阅读 评论(0) 收藏(0)
  • 菜菜光

    发布于:2014-11-19 23:22:36

    0

    cdh4.6.0到cdh5.2.0 upgrade和rollback问题小结
    upgrade小结:1.dfsadmin -upgradeProgress status 在cdh5.2.0中没有,在4.6.0有(见源码org.apache.hadoop.hdfs.tools.DFSAdmin)升级的时候不能通过这个看到升级状态rollingUpgrade这个参数在4.6.0中不存在,在5.2.0中有,可以用于滚动升级2.在cdh5.2.0中执行upgrade,nn中调用的命令
    精选文章 908人阅读 评论(0) 收藏(0)
  • 菜菜光

    发布于:2014-07-08 22:59:06

    0

    yarn RM crash问题一例
    今天收到线上的resource manager报警:报错信息如下:2014-07-08 13:22:54,118 INFO org.apache.hadoop.yarn.util.AbstractLivelinessMonitor: Expired:xxxx:53356 Timed out after 600 
    精选文章 653人阅读 评论(0) 收藏(0)
写博文