最近一直在抽时间了解Hadoop,进展比较慢,目前还在学习MapReduce计算模型中,估计等完全弄明白还要有一段时间了。 不过,这个学习过程还是很享受,看看一些行家在设计一种计算模型中表现出来的专业性,从应用背景,到基本算法抽象,到计算环境,到容错语义定义,到基本技巧与经验介绍,到性能原理分析,很好很喜欢。 学习之余,我又杂想了一下。 你看,MapReduce计算模型是完全公开的,对goo
回忆一下Google的计算环境,由很多廉价的机器组成的集群,硬件不可靠,网络带宽一般。前面我们介绍了MapReduce的并行计算模型,但是,针对特定的计算环境,仍然有一些设计上的问题要考虑。 首先必须考虑机器故障的容错处理。主要有两种故障,一种是运行worker程序的机器发生故障,一种是运行master程序的机器发生故障。在google的计算环境中,只有一个master,相对来说,worker的
在讨论MapReduce计算模型执行过程(框架或者叫运行时系统提供支持)之前,我们来看看计算环境。Google的计算环境非常典型,在两位工程师的论文中已经提到: 每个节点通常是双X86处理器,运行Linux,每台机器2~4GB内存 使用的网络设备都是常用的,一般在节点上使用的是100M或者1000M网络,一般情况下都用不到一半的网络带宽 一个Cluster中常常有
在上一篇文章中,我们谈到了MapReduce计算模型的基本原理。这个基本原理非常简单,就是map和reduce两个函数,处理一组键值对,并生成一组键值对。map和reduce分别包含了映射和化简(合并)这样两个思想。 MapReduce的计算思想来自于谷歌的两位工程师对于日常工作内容的思考。他们的工作对象是海量的原始数据,例如,从互联网上抓取的文档,服务器上的日志,而要做的计算,是对这些原始数据
管理 服务 本质
最近买了不少书,打算从头开始二次学习。这次学习将比较深入,包括一些硬件知识、系统软件知识、网络、编程语言、以及一些流行的编程模型,也许以后还会想到更多。刚开始的时候,一定找不到比较有效的线索,但走过一段以后,也许会有点眉目。好在这是一次长途旅行(也许是下半辈子),慢慢来 。 在开始这次旅行之前,因为一些特殊的原因,要先学习几个节外生枝的内容。这些内容不是计划的一部分,至少不是刚开始要进
经过一年多的努力,《简单之美》即将面世了。感谢杨福川先生的发现、鼓励和支持,也感谢小波,文柯,彬兄提出了这么多宝贵的建议。这本书包含了我十 多年软件生涯的心得,涉及的内容几乎覆盖了软件开发的方方面面,从方法论到架构思想,从需求到维护,从个人世界到团队管理。 多年以来,不管是在从事管理工作,还是在从事一线的软件开发工作,我一直在思考这样一个问题,业界有这么多知识财富,可是在实践中
执行 文化 管理
年初,《简单之美》这本书基本上完稿了。当时还没有确定书名,为此和福川讨论了很久,想到过大道至简、道法简单、软件开发之禅、求简、简法,最后定了简单之美,我们感觉这个名字比较朴素,也充分表达了本书的意思。另外,好像“之美”还有一个系列。在网上搜了搜,也没有找到名为简单之美的书。 其实,因为自己的原因,交稿晚了几个月,感谢福川的宽待处理。在最后的冲刺阶段,几乎天
经过一年多的努力,《简单之美》即将面世了。感谢杨福川先生的发现、鼓励和支持,也感谢小波,文柯,彬兄提出了这么多宝贵的建议。这本书包含了我十多年软件生涯的心得,涉及的内容几乎覆盖了软件开发的方方面面,从方法论到架构思想,从需求到维护,从个人世界到团队管理。 多年以来,不管是在从事管理工作,还是在从事一线的软件开发工作,我一直在思考这样一个问题,业界有这么多知识财富,可是在实践中真正能够被吸收和应用
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号