随着AWS EMR服务用户越来越多，持续运行的AWS EMR在成本优化方面会有很大挑战，本文会提供一些特定情况下AWS EMR平台成本优化的一些方法和思路。本文主要包含“控制实例组资源”、“控制实例队列资源”、“控制EMR-managed scaling弹性配置”实现成本的优化，实际的使用可以根据EMR集群配置组合使用。
解决EMR集群实例组模式下竞价实例请求失败后无法切换到按需实例问题，本文通过CloudWatch+Lambda实现在EMR集群竞价实例请求失败情况下增加指定数量的按需实例到EMR集群
本文用于修改已创建好的EMR集群Core节点EBS磁盘容量，由于业务场景、成本等多方面考虑，需要周期性的调整Core节点的磁盘容量，但是通过人工调整EBS卷大小非常耗时，本文通过Bootstrap引导脚本扩展新添加Core节点EBS卷大小。
本文介绍如何解决EMR集群实例组模式下竞价实例请求失败后无法切换到按需实例问题，本文通过CloudWatch+Lambda实现在EMR集群竞价实例请求失败情况下补充制定数量的按需实例到EMR集群。 目前较多公司使用EMR构建大数据平台，使用按需实例+竞价实例混合配置完成计算任务所需资源，可最大程度节省成本并满足平台高峰期计算能力的需求。但竞价实例有可能会出现容量不足无法正常请求的情况，如何在竞价实例请求失败的情况下补充按需实例到集群，是使用该架构用户需要考虑的问题
博客大管家小废 物非著名话家
Actually, I've disappeared a long time almost 4 years.Hope that I could start to write what I really want to say and think and share what I do and feel.What's my plan next? Create a blog wetsibe
这几天使用chrome（升级到15.XX）连接AWS console时，发现总是提示(IE也有一样的问题) Error: To many redirects 然后给的提示是清理cookies，查了一圈如何清理，终于搞定。然后尝试登录再度提示： This webpage&nbs
今天因为要升级系统，所以在升级之前的这段时间写写关于云计算的东西。 时下非常流行的一个概念，就是“云计算了”，俨然一副大势所趋的样子。到了只要是做IDC的就一定要做个云产品出来。霎时间，千云万云在空中向我们飘来，真的，看上去很美。 &n
最近因为急需系统管理相关的人员，所以不断关注这个岗位的人才。在整个招聘过程中确实也有些感受。尤其到现在为止招聘人员的计划也未最终落实，所以可能感受就更为深刻些吧。 首先系统管理人员岗位给人的感觉就是庞杂而不求深入。很多人都会涌入这个看似门槛很低的岗位
某日因为网购，而想到了一个问题。 我的时间都去了哪里？ 因为有差不多半年的时间没有去过超市了（当然是在网购开始后）！差不多在中午吃完饭后，我就可以把计划好购买的物品在amazon（我是因为使用EC2后，才爱在a
今天夜间因为维护任务的需要，工作只能在夜间进行。 完成了一些工作后，突然想起我在京东商城订货因为“货物在途”而有一段时间没有到了。正巧上去看看。 于是问题出现了。我在0点26
2011过的真快，转眼之间过了差不多一半的光景。 论时间过的真快，可是我的博客却“撂荒”许久。说个不是借口的借口，确实很忙。不过有时回过头来看看，却也有些意思。 经历真的是笔财富，是我们工作优秀的一个法宝，同
虚拟机技术已经实用的非常普遍了（起码在自己公司是这样的）。我尤其偏爱XEN的虚拟技术（不过我也承认，也许是因为比较熟悉）。 近日碰到了一个小问题，就是使用xm console 命令连接guest主机的时候，有的主机这个命令就是
国人对于孩子的教育问题都是非常看重的。事实上，无论中国人还是外国人都是一样的。只是教育方法和理念大相径庭，有时甚至是水火不容的地步。作为家长的我而言，坚信的理念还是中间偏左，相信扎实系统的学习，才是最后成功的不二法门。至少我是支持“虎妈”的大部分观点。当然tiger mother有些近乎偏执的做法，却是不足取，同时在某种
某日协助同事完成两个测试数据库的结构同步。将早就烂熟于心的exp和imp命令编写成shell自动运行，交活了事。没有想到，同事说同步的表相差巨大。不会吧，检查了生成的日志信息： . exporting dimensions . exporting post-schema&nbs
这篇文章源于在PL/SQL领域非常有建树的专家：Steven Feuerstein 的推荐。 于是突发奇想，将该篇文章翻译成了中文。如果通过我的努力，确实让一些朋友有所收获，我将非常荣幸。 文章开始： &nb
假期总是过的很快呀。一转眼我和仔仔愉快的假期结束了。好生的感慨，美好的时光总是太快。当然，我也需要记录仔仔的成长，记录了仔仔有意思的几件事。 北京终于迎来了迟到的初雪。 仔仔对于这场雪简直达到了无比兴奋的地步。从幼儿园出来，迟迟不肯回家，拉着妈妈在外面玩
2011年，我们的运维又将面对什么样的挑战或是问题呢？ 当然，也许这些思考和想法只是适用与我们当下的情况，并不具有普适性。
2010年就这样不甚顺利，但也较为顺利的度过了。 随着着公司业务线不断扩大，用户的不断增加，我们的生产平台也开始了随需而变的过程。 201
经过QQ和360为了各自阴暗的利益需求而展开的争斗，再延伸到“三聚氰胺奶粉事件”（这里我不想只是提三鹿，因为那个装X的牛根生和蒙牛一样也不是什么好鸟），真是不难看出，中国特别缺乏有社会责任感的公司（百度其实一样的）。
这段时间不知道会如此忙碌。忙碌到又有一个多月没有写一篇文字了。 偶然上来转转，发现有一个新的消息。“51CTO博客模板升级，11月1日后全面更新！”，心想真是碰巧了，否则被系统默认了一个，等上来的时候，还会以为是博客被篡改了。于是认真的选了一个。开始
夫人公司搞活动，三天都不会在家。于是我和儿子开始了暂时的没有夫人，没有妈妈状态的生活。 原本以为最难过的晚上，容容会心烦意乱的找妈妈。没有想到，他居然一句妈妈的话都没有提。倒是我很纠结的担心容容的感觉。躺在床上，两个小男生开始
好像有一段时间，我可以按时睡觉，按时起床。有了一个较为理想的作息。 感觉真的很不错。 不过昨夜，又开始了这种标准的DBA生活。夜间加班干活。倒也没有非常艰苦，只是精神在高度经张下工作后，后半夜也无法
今天下午，手机铃声想起。 只是手机号码非常陌生，拿起电话，发现对我很熟悉。只是对方的声音我没有辨识出来。本能的反应是又遇到了电话欺诈。但是当他说出名字的时候，我确实很意外，一个差不多十年没有联系的老同学。 &nb
今天又看了看，这个让我们一代人都被深深吸引的电视剧主角之一Krik Cameron的个人主页。 他就是电视剧《成长烦恼》中Seaver家中的老大，Mike。事实上，Mike个人的真实生活很幸福。我当时在
今天浏览信息，看到这样的信息和相关的博文。 很可惜，Sun的又一位大牛离开了。
Jessie是一位认真，且富有工作激情的漂亮HR总监 对于她提出的帮忙需求岂敢怠慢，如下为具体的招聘信息，只是我没有好意思询问offer -:)数据库应用优化专家• 工作内容 1. 数据库应用程序的
其实，生活就是哲学的一个子集，或者说是具体的实现。 回顾这些日子，也着实有些意思。 儿子明天就要上幼儿园了，而进入幼儿园就是父母们的第一次集体博弈。没有胜利者，只是可怜天下父母心。真想成为终极胜利者，可以一路过关斩将。从幼儿园，小学，中学乃至大学。 &
感觉这段时间做了很多自己原来很不愿意做的人事。其实做人事和自己是个做事的人真是两个层次。 管好自己，做个规规矩矩的做事的人。简单 管好他人，做个顺顺利利的管人的事，难上加难 不过，作
最近一段时间，身体不适，连博客都停了下来。不过还好，自己的工作还可以应付。今天中午算是忙里偷闲，写几个字吧。 身体好，才能精神好，而精神好才能投入的去做自己喜欢的事情。其实，真实的生活中是有许多无奈和遗憾的事情。得到了，好好高兴高兴。失去了亦或没有得到，那就先悲伤一下，然后再将自己的生活继续下去，
Copyright © 2005-2023 51CTO.COM 版权所有 京ICP证060544号
