易成11的博客_云端计算

用Python来写MapReduce的实际应用程序

用Python来写分布式的程序。这样速度快。便于调试，更有实际意义。MapReduce适合于对文本文件的处理及数据挖掘用：　　在每台机器上： su - hadoop wget http://www.python.org/ftp/python/3.0.1/Python-3.0.1.tar.bz2 tar jxvf Python-3.0.1.tar.bz2 cd Python-3.0.1

职场

休闲

云计算

转载精选 2011-03-15 12:51:40 2906 阅读

hadoop作业调度-资料

JobQueueTaskScheduler: 默认的FIFO调度队列 LimitTasksPerJobTaskScheduler: 扩展自JobQueueTaskScheduler, 可以对每个Job的task总数作限制. CapacityScheduler: Yahoo开发的一个基于容量的作业调度器 FairScheduler: 公平调度器, 保证小任务

职场

休闲

云计算

转载精选 2011-03-15 12:49:26 1256 阅读

如何在Hadoop中使用Streaming编写MapReduce(转帖)

职场

休闲

云计算

转载精选 2011-03-15 12:46:32 6561 阅读

好好学习网--2009年十大新兴企业技术：MapReduce折桂

　　对于《InfoWorld》来说，我们的一个任务就是从这个噪音中提取信号，从重要的东西中分离出对IT专业人员有重要价值的东西。　　我们都知道嗡嗡声是什么：是噪音。对于《InfoWorld》来说，我们的一个任务就是从这个噪音中提取信号，从重要的东西中分离出对IT专业人员有重要价值的东西。　　这是我们在评选2009年十大新兴企业技术的主旨。我们相信，对于IT行业来说，这次评选

职场

休闲

云计算

转载精选 2011-03-15 12:43:55 783 阅读

听田逸讲云计算,肯定自己云层

昨天去中关村图书大厦与田大哥见面，本来是想请他吃饭的，但是后来才知道，是他新书签售会以及云计算的一个小型演讲会。很偶然的机会，却让我更加坚信自己在云计算方面的成绩。大大小小的相关会议我也参加了不少，例如微软的虚拟化峰会，但是一直以来他们这些大企业，都是靠着忽悠来博取IT行业人士的赞同，赞同他们在云

职场

休闲

云计算

原创 2011-01-23 10:36:39 906 阅读 1点赞 1评论

云计算,我的技术使命与方向

曾几何时,我对于云计算偏爱有加,那是因为我有一颗对新知技术钻研到底的心。也许这就叫做坚持。时间过的很快，有几个月没有接触云计算技术了，目前为止我看到的只是自己的落后，进步早已在很久以前就消失的无影无踪了。对于我最喜欢的技术，却因为时间的原因无法进行下去，这个是对于一个热爱技术的人很残忍的事情。很多时候有很多人，在询问请教我关于云计算，云存储方面的知

职场

休闲

云计算

原创 2010-11-22 21:18:11 835 阅读 4点赞 4评论

云计算基础架构分析资源虚拟化的并行计算

比特网（Chinabyte）7月7日综述云计算是近来最为热门的IT技术，也被认为是互联网乃至 IT 行业的未来发展趋势，产业规模预计达到千亿美元。现在所有技术分析师、杂志、厂商和会议都在对此议论纷纷。对于这个IT业界最热门的话题，企业关心的是如何以更加务实的方式迈向云计算。而作为开发者，我们更关注的是云计算的基础架构是什么？以及其有什么具体特点。　　云计算基础架构本质：资源虚拟化的并行计算　　目

基础

虚拟化

架构

休闲

资源

转载精选 2010-07-07 17:07:42 842 阅读 3评论

Cloudloop- 开源的云存储API和管理工具

Cloudloop是一个新的开源Java API和命令行管理工具，Cloudloop针对云存储开发这几。 Cloudloop相对于其它云存储API提供了很多高级特性： Cloudloop通过将不同厂商的云API抽象成更高级的接口，从而让用户可以轻松的切换不同的云服务APICloudloop允许允许在不同云服务提供者之间复制数据，Cloudloop提供了在不同云服务之间同步和合并数据的能力C

工具

开源

管理

API

Cloudloop

转载精选 2010-07-05 11:46:18 1443 阅读

使用 Amazon S3 云服务轻松实现存储(3)

　　云的好处还不止这些。您还可以实现低延迟和高可用性。假设存储在 Amazon 云中的资产遍布全世界，那么为各个位置提供内容的速度将会更快。更重要的是，由于您的资产分布在各种机器上，您的数据在一些机器（或部分网络）瘫痪时也能保持高可用性。　　一言以蔽之，Amazon S3 的好处很简单：低成本、高可用性、安全。除非您是一个 SAN 专家，喜欢维护硬件资产来存储数据内容，但是

职场

服务

休闲

Amazon

转载 2010-07-05 11:36:02 952 阅读

使用 Amazon S3 云服务轻松实现存储(2)

创建一个连接的 DE>RestS3ServiceDE> 实例很简单，如清单 1 所示：现在可以执行一些有趣的操作了：例如，创建存储段、添加一个影片，然后获取一个有时间限制的 URL 。实际上，这听起来像一个业务流程，不是吗？这是一个与发布有限资产（比如影片）有关的业务流程。　　创建存储段　　对于虚构的电影业务，我将创建一个称为 bc50i 的存储段。借助 JetS3t

职场

服务

休闲

Amazon

转载精选 2010-07-05 11:35:28 1149 阅读 1评论

使用 Amazon S3 云服务轻松实现存储(1)

级别：中级 Andrew Glover, 合伙人, ThirstyHead.com 　　2009 年 5 月 04 日 Amazon Simple Storage Service (S3) 是一个公开的服务，Web 应用程序开发人员可以使用它存储数字资产，包括图片、视频、音乐和文档。 S3 提供一个 RESTful API 以编程方式实现与该服务的交互。通过本文，您将了解如何使用开源

职场

服务

休闲

Amazon

转载精选 2010-07-05 11:34:54 2689 阅读

Dropbox

简介　　Dropbox是一个用来在网络和你不同电脑之间同步的软件　　淘宝目前已经出现Dropbox免费版奖励直通车用奖励的方式迅速扩容到9G或者更大的空间！　　将文件放入一台电脑的Dropbox里面去，文件就能即时的同步到Dropbox的服务器端，这些文件在你任何安装了Dropbox的电脑上都可以访问（Windows, Mac, and Linux都行！）。你可以用电脑或者移

职场

休闲

Dropbox

转载精选 2010-07-04 17:14:12 1593 阅读

利用开源的Gearman框架构建分布式图片处理平台[原创]

[文章作者：张宴本文版本：v1.0 最后修改：2009.11.01 转载请注明原文链接：http://blog.s135.com/dips/]　　2009年10月28日，在金山逍遥技术支持部内部分享会上，介绍了Gearman分布式计算框架与金山逍遥DIPS分布式图片处理平台，以下是PPT 图片：　　　　　　　　　　　　　　　　　　　　PDF版本下载：　　下载

开源

平台

框架

分布式

Gearman

转载精选 2010-07-03 10:06:37 985 阅读

利用Gearman来实现远程监控与管理

Gearman是一个分发任务的程序框架，可以用在各种场合，与Hadoop相比，Gearman更偏向于任务分发功能。它的任务分布非常简单，简单得可以只需要用脚本即可完成。Gearman最初用于LiveJournal的图片resize功能，由于图片resize需要消耗大量计算资源，因此需要调度到后端多台服务器执行，完成任务之后返回前端再呈现到界面。 Gearman分布式任务实现原

职场

管理

休闲

Gearman

转载精选 2010-07-03 10:05:30 701 阅读

Map Reduce – the Free Lunch is not over?

微软著名的C++大师Herb Sutter在2005年初的时候曾经写过一篇重量级的文章：”The Free Lunch Is Over: A Fundamental Turn Toward Concurrency in Software“，预言OO之后软件开发将要面临的又一次重大变革-并行计算。摩尔定律统制下的软件开发时代有一个非常有意思的现象：”Andy giveth, and

not

Map

Free

Lunch

Reduce

转载精选 2010-06-10 11:52:25 650 阅读

Hbase集成到Hadoop的一些注意事项

安装、部署hadoop和hbase的文章网上已经很多了，这里说下自己安装、部署时遇到的一些问题。1、 hadoop-env.sh的文件里添加：export HADOOP_CLASSPATH=$HBASE_HOME/hbase-0.20.3.jar:$HBASE_HOME/conf:$HBASE_HOME/lib/zookeeper-3.2.2.jar注意红色部分，网上的文档没提

职场

休闲

事项

Hadoop

Hbase

转载 2010-06-10 08:43:45 3770 阅读

利用Mapreduce处理Hbase表里的数据

主要参考文献有： http://wiki.apache.org/hadoop/Hbase/MapReduce Hbase源代码： IdentityTableMap.java TestTableMapReduce.java 如果是利用Mapreduce程序插入数据到Hbase表里，那wiki上的例子就基本可用跑通了（当然，前提是环境部署都没问题）。如果是利用Mapreduce

数据

休闲

Mapreduce

表里

Hbase

转载 2010-06-10 08:43:16 4296 阅读

Hbase集成到Hadoop的一些注意事项

安装、部署hadoop和hbase的文章网上已经很多了，这里说下自己安装、部署时遇到的一些问题。1、 hadoop-env.sh的文件里添加：export HADOOP_CLASSPATH=$HBASE_HOME/hbase-0.20.3.jar:$HBASE_HOME/conf:$HBASE_HOME/lib/zookeeper-3.2.2.jar注意红色部分，网上的文档没提

职场

休闲

事项

Hadoop

Hbase

转载 2010-06-10 08:41:35 393 阅读

HBase的安装、配置、管理与编程

环境准备需要环境： PC-1 Suse Linux 9 10.192.1.1 PC-2 Suse Linux 9 &n

职场

管理

休闲

HBase

转载 2010-06-10 08:40:43 10000+阅读 1点赞

Hadoop分布式文件系统：架构和设计要点

Hadoop分布式文件系统：架构和设计要点原文：http://hadoop.apache.org/core/docs/current/hdfs_design.html 一、前提和设计目标 1、硬件错误是常态，而非异常情况，HDFS可能是有成百上千的server组成，任何一个组件都有可能一直失效，因此错误检测和快速、自动的恢复是HDFS的核心架构目标。 2、跑在HDFS上的应用

文件系统

架构

分布式

要点

Hadoop

转载 2010-06-10 08:40:05 598 阅读

Hbase集成到Hadoop的一些注意事项

安装、部署hadoop和hbase的文章网上已经很多了，这里说下自己安装、部署时遇到的一些问题。1、 hadoop-env.sh的文件里添加：export HADOOP_CLASSPATH=$HBASE_HOME/hbase-0.20.3.jar:$HBASE_HOME/conf:$HBASE_HOME/lib/zookeeper-3.2.2.jar注意红色部分，网上的文档没提

职场

休闲

事项

Hadoop

Hbase

转载精选 2010-06-10 08:39:38 3608 阅读

GWT+Hadoop+Hbase搭建(转)

望能够给同学们提供些便捷，节省些时间。文章中有转载其他达人的内容，但是本着与时俱进的原则，对里面的诸多内容进行了修改。搭建Hadoop/Hbase环境： 1.在 Apache/Hadoop项目的网站(hadoop.apache.org/)下载hadoop以及hbase的发行包,此处两个发行包的大版本号一定要一致,我使用的版本是0.20.1: hadoop-0.20.1.t

职场

休闲

GWT

Hadoop

Hbase

转载精选 2010-06-10 08:39:13 1011 阅读

微软云计算基础虚拟化(闲言碎语)

参加虚拟化峰会之后并用心研究微软的云，才让我对于微软的云有了一些了解，他们的云端，是以虚拟化为基础，并核心思想在于方便用户使用。但是其缺点是，如果有一端出现“重大”问题，那么所有的端都会受到影响，不过后面又说明了，有解决办法，具体的方案，可能涉及到核心，不便透露，不过以我的经验也能猜测得到。再有后面参加的服务器虚拟化论坛中也受益匪浅，例

微软

基础

虚拟化

休闲

闲言碎语

原创 2010-06-04 07:10:37 717 阅读 1评论

应邀参加微软虚拟化峰会归来

我作为云计算的研究员，前几天收到微软虚拟化峰会的邀请函，正式邀请我参加峰会，并且峰会的时间就是今天6.3日。首先我很荣幸被微软邀请参加此次峰会，峰会的主题是“秉虚为实，畅游云端”，这八个字气势磅礴，却涵盖了整个会议的内容。和以往一样我穿戴整齐之后，按照以往上班时间出发去往峰会，峰会举办地点在大望路的，也就是国贸附近的北京银

微软

虚拟化

休闲

峰会

参加

原创推荐 2010-06-03 17:28:33 1527 阅读 4评论

本博客正式更名为“云计算架构师-解占辉”

本博客正式更名为“云计算架构师-解占辉”特向社会各界通报！

职场

博客

架构

休闲

解占辉

原创 2010-06-03 17:06:51 1031 阅读 5评论

FAILED: Error in metadata: javax.jdo.JDOFatalDataStoreException:

hive中按ctrl+c强制退出之后，再次进入hive,然后输入show tables;或其他命令，都会报告以下错误FAILED: Error in metadata: javax.jdo.JDOFatalDataStoreException: Failed to start database 'metastore_db', see the next exception for details.N

FAILED

Error

metadata

javax

jdo

原创 2010-05-19 19:18:24 7485 阅读 5点赞

hadoop hive sql语法解释

DDL Operations 创建表 hive> CREATE TABLE pokes (foo INT, bar STRING); 创建表并创建索引字段ds hive> CREATE TABLE invites (foo INT, bar STRING) PARTITIONED BY (ds STRING); 显示所有表 hive> SHOW

sql

语法

解释

hadoop

hive

转载精选 2010-05-18 17:26:46 10000+阅读

数据库与数据仓库的区别

数据仓库是不可以更新的，而数据库是既可以更新又可以读取的。数据库是面向事务的设计，数据仓库是面向主题设计的数据库一般存储在线交易数据，数据仓库存储的一般是历史数据。数据库设计是尽量避免冗余，一般采用符合范式的规则来设计，数据仓库在设计是有意引入冗余，采用反范式的方式来设计。数据库是为捕获数据而设计，数据仓库是为分析数据而设计，它的两个基本的元素是维表和事实表。维是看问题的角度，比如时

职场

数据仓库

数据库

休闲

原创 2010-05-18 17:18:54 1251 阅读

云框架Hadoop之Hive基本操作

在上一讲<<云框架Hadoop之部署Hive>>上，我们谈到了hadoop的数据仓库hive.下面我们说明一下hive的简单查询应用。在hadoop环境下，shell下直接输入hive,就会出现hive shell操作界面。关于HIVE里的SQL，我习惯性的将HIVE的SQL语句叫做HQL，事实上HQL有很多和SQL类似的地方,还有一点要说明的是HQL数据存储位置是在Had

职场

休闲

Hadoop

Hive

云框架

原创 2010-05-18 17:17:41 5545 阅读

HDFS+MapReduce+Hive+HBase 十分钟快速入门（二）

备注：fs.default.name指定NameNode的IP地址和端口号,缺省值是file:///,，表示使用本地文件系统,，用于单机非分布式模式。 dfs.replication指定HDFS中每Block被复制的次数，起数据冗余备份的作用。在典型的生产系统中，这个数常常设置为3。 7.3. 修改masters 这一步只需要在master节点上执行。这个

入门

MapReduce

Hive

HBase

HDFS

转载精选 2010-05-18 15:16:30 10000+阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

python中国python培训

用Python来写MapReduce的实际应用程序

hadoop作业调度-资料

如何在Hadoop中使用Streaming编写MapReduce(转帖)

好好学习网--2009年十大新兴企业技术：MapReduce折桂

听田逸讲云计算,肯定自己云层

云计算,我的技术使命与方向

云计算基础架构分析资源虚拟化的并行计算

Cloudloop- 开源的云存储API和管理工具

使用 Amazon S3 云服务轻松实现存储(3)

使用 Amazon S3 云服务轻松实现存储(2)

使用 Amazon S3 云服务轻松实现存储(1)

Dropbox

利用开源的Gearman框架构建分布式图片处理平台[原创]

利用Gearman来实现远程监控与管理

Map Reduce – the Free Lunch is not over?

Hbase集成到Hadoop的一些注意事项

利用Mapreduce处理Hbase表里的数据

Hbase集成到Hadoop的一些注意事项

HBase的安装、配置、管理与编程

Hadoop分布式文件系统：架构和设计要点

Hbase集成到Hadoop的一些注意事项

GWT+Hadoop+Hbase搭建(转)

微软云计算基础虚拟化(闲言碎语)

应邀参加微软虚拟化峰会归来

本博客正式更名为“云计算架构师-解占辉”

FAILED: Error in metadata: javax.jdo.JDOFatalDataStoreException:

hadoop hive sql语法解释

数据库与数据仓库的区别

云框架Hadoop之Hive基本操作

HDFS+MapReduce+Hive+HBase 十分钟快速入门（二）

欢迎