Logo

  • 巧克力黒

    发布于:2017-11-07 15:50:03

    0

    【总结】Fair Scheduler
    Fair Scheduler总结
    阅读 639 评论 0 收藏 0
  • 巧克力黒

    发布于:2017-08-31 16:08:19

    0

    【总结】hadoop-2.6.0-cdh5.9.0版本中Capacity Scheduler特点总结
    总结hadoop-2.6.0-cdh5.9.0版本中Capacity Scheduler特点
    阅读 678 评论 0 收藏 0
  • ChinaUnicom110

    发布于:2017-08-01 10:12:15

    0

    yarn模式运行spark作业所有属性详解
    摘要:Spark 参数调优,可以大大提高工作中程序的运行效率。下面简单介绍一下这些常用的调优参数属性名称 默认值 含义spark.yarn.am.memory 512m client模式下,YARN Application Maste...
    阅读 299 评论 0 收藏 0
  • Cobub

    发布于:2017-07-26 10:05:23

    1

    Hadoop Yarn调度器的选择和使用
    Yarn在Hadoop的生态系统中担任了资源管理和任务调度的角色。在讨论其构造器之前先简单了解一下Yarn的架构。
    阅读 107 评论 0 收藏 0
  • 去买大白兔

    发布于:2017-05-19 21:25:54

    0

    spark-yarn 模式 jar包优化
    spark-yarn 模式 jar包优化
    阅读 223 评论 0 收藏 0
  • navyaijm2012

    发布于:2017-05-12 08:36:43

    1

    Spark on Yarn 安装配置
    1、说明这篇文章是在xxx基础上进行部署的,需要hadoop的相关配置和依赖等等,Spark on Yarn的模式,Spark安装配置好即可,在Yarn集群的所有节点安装并同步配置,在无需启动服务,没有master、slave之分,Spark提交任...
    阅读 547 评论 1 收藏 0
  • zy0600

    发布于:2017-05-08 12:10:55

    0

    kylin build cube #3 Step Name: Extract Fact Table Distinct Columns
    kylin build cube #3 Step Name: Extract Fact Table Distinct Columns
    阅读 357 评论 0 收藏 0
  • 吴金瑞

    发布于:2017-05-08 11:44:11

    0

    YARN资源调度策略之Capacity Scheduler
        背景yarn默认使用的是最简单的FIFO调度器,即一个default队列,所有用户共享,分配资源也是先到先得,没有优先级之分。有时一两个任务就把资源全占了,其他任务吃不到资源造成饥饿,显然这...
    阅读 85 评论 0 收藏 0
  • jjjyyy66

    发布于:2017-05-05 16:31:48

    0

    YARN资源调度策略之Capacity Scheduler
    背景yarn默认使用的是最简单的FIFO调度器,即一个default队列,所有用户共享,分配资源也是先到先得,没有优先级之分。有时一两个任务就把资源全占了,其他任务吃不到资源造成饥饿,显然这样的资源分配是不合理的(...
    阅读 95 评论 0 收藏 0
  • yushiwh

    发布于:2017-04-05 13:15:32

    0

    MAPREDUCE原理篇(2)
    3.1 mapreduce的shuffle机制3.1.1 概述:v mapreduce中,map阶段处理的数据如何传递给reduce阶段,是mapreduce框架中最关键的一个流程,这个流程就叫shuffle;v shuffle: 洗牌、发牌——(核心机制:...
    阅读 120 评论 0 收藏 0
写文章