51CTO首页
内容精选
博客
学堂
精培
企业培训
CTO训练营
开源基础软件社区
元宇宙大会
AISummit人工智能大会
移动端
公众号矩阵
博客
免费课程 课程排行 直播课 软考学堂
精品班 厂商认证 IT技术 2022年软考 PMP项目管理
在线学习 企业服务
CTO训练营 技术经理研习营 LeaTech峰会
文章 资源 问答 开源课堂 专栏 直播
51CTO
开源基础软件社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
开源基础软件社区订阅号
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙技术社区视频号
# 云端计算

用Python来写MapReduce的实际应用程序

用Python来写分布式的程序。这样速度快。便于调试，更有实际意义。MapReduce适合于对文本文件的处理及数据挖掘用： 　　在每台机器上： su - hadoop wget http://www.python.org/ftp/python/3.0.1/Python-3.0.1.tar.bz2 tar jxvf Python-3.0.1.tar.bz2 cd Python-3.0.1

职场
休闲
云计算
转载 点赞0 阅读2686 收藏0 评论0 2011-03-15

hadoop作业调度-资料

JobQueueTaskScheduler: 默认的FIFO调度队列 LimitTasksPerJobTaskScheduler: 扩展自JobQueueTaskScheduler, 可以对每个Job的task总数作限制. CapacityScheduler: Yahoo开发的一个基于容量的作业调度器 FairScheduler: 公平调度器, 保证小任务

职场
休闲
云计算
转载 点赞0 阅读1122 收藏0 评论0 2011-03-15

如何在Hadoop中使用Streaming编写MapReduce(转帖)

作者：马士华 发表于：2008-03-05 12:51 最后更新于：2008-03-25 11:18 版权声明：可以任意转载，转载时请务必以超链接形式标明文章原始出处和作者信息。 http://www.hadoop.org.cn/hadoop/hadoop-streaming/ Michael G. Noll在他的Blog中提到如何在Hadoop中用Python编写MapReduce程序，

职场
休闲
云计算
转载 点赞0 阅读6299 收藏0 评论0 2011-03-15

好好学习网--2009年十大新兴企业技术：MapReduce折桂

　　对于《InfoWorld》来说，我们的一个任务就是从这个噪音中提取信号，从重要的东西中分离出对IT专业人员有重要价值的东西。 　　我们都知道嗡嗡声是什么：是噪音。对于《InfoWorld》来说，我们的一个任务就是从这个噪音中提取信号，从重要的东西中分离出对IT专业人员有重要价值的东西。 　　这是我们在评选2009年十大新兴企业技术的主旨。我们相信，对于IT行业来说，这次评选

职场
休闲
云计算
转载 点赞0 阅读685 收藏0 评论0 2011-03-15

听田逸讲云计算,肯定自己云层

昨天去中关村图书大厦与田大哥见面，本来是想请他吃饭的，但是后来才知道，是他新书签售会以及云计算的一个小型演讲会。          很偶然的机会，却让我更加坚信自己在云计算方面的成绩。大大小小的相关会议我也参加了不少，例如微软的虚拟化峰会，但是一直以来他们这些大企业，都是靠着忽悠来博取IT行业人士的赞同，赞同他们在云

职场
休闲
云计算
原创 点赞1 阅读804 收藏0 评论1 2011-01-23

云计算,我的技术使命与方向

曾几何时,我对于云计算偏爱有加,那是因为我有一颗对新知技术钻研到底的心。也许这就叫做坚持。     时间过的很快，有几个月没有接触云计算技术了，目前为止我看到的只是自己的落后，进步早已在很久以前就消失的无影无踪了。 对于我最喜欢的技术，却因为时间的原因无法进行下去，这个是对于一个热爱技术的人很残忍的事情。 很多时候有很多人，在询问请教我关于云计算，云存储方面的知

职场
休闲
云计算
原创 点赞4 阅读666 收藏0 评论4 2010-11-22

云计算基础架构分析 资源虚拟化的并行计算

比特网（Chinabyte）7月7日综述 云计算是近来最为热门的IT技术，也被认为是互联网乃至 IT 行业的未来发展趋势，产业规模预计达到千亿美元。现在所有技术分析师、杂志、厂商和会议都在对此议论纷纷。对于这个IT业界最热门的话题，企业关心的是如何以更加务实的方式迈向云计算。而作为开发者，我们更关注的是云计算的基础架构是什么？以及其有什么具体特点。　　云计算基础架构本质：资源虚拟化的并行计算　　目

基础
虚拟化
架构
休闲
资源
转载 点赞0 阅读770 收藏0 评论3 2010-07-07

Cloudloop- 开源的云存储API和管理工具

Cloudloop是一个新的开源Java API和命令行管理工具，Cloudloop针对云存储开发这几。 Cloudloop相对于其它云存储API提供了很多高级特性： Cloudloop通过将不同厂商的云API抽象成更高级的接口，从而让用户可以轻松的切换不同的云服务APICloudloop允许允许在不同云服务提供者之间复制数据，Cloudloop提供了在不同云服务之间同步和合并数据的能力C

工具
开源
管理
API
Cloudloop
转载 点赞0 阅读1157 收藏0 评论0 2010-07-05

使用 Amazon S3 云服务轻松实现存储(3)

　　云的好处还不止这些。您还可以实现低延迟和高可用性。假设存储在 Amazon 云中的资产遍布全世界，那么为各个位置提供内容的速度将会更快。更重要的是，由于您的资产分布在各种机器上，您的数据在一些机器（或部分网络）瘫痪时也能 保持高可用性。 　　一言以蔽之，Amazon S3 的好处很简单：低成本、高可用性、安全。除非您是一个 SAN 专家，喜欢维护硬件资产来存储数据内容，但是

职场
服务
休闲
Amazon
转载 点赞0 阅读731 收藏0 评论0 2010-07-05

使用 Amazon S3 云服务轻松实现存储(2)

创建一个连接的 DE>RestS3ServiceDE> 实例很简单，如清单 1 所示： 现在可以 执行一些有趣的操作了：例如，创建存储段、添加一个影片，然后获取一个有时间限制的 URL 。实际上，这听起来像一个业务流程，不是吗？这是一个与发布有限资产（比如影片）有关的业务流程。 　　创建存储段 　 　对于虚构的电影业务，我将创建一个称为 bc50i 的存储段。借助 JetS3t

职场
服务
休闲
Amazon
转载 点赞0 阅读909 收藏0 评论1 2010-07-05

使用 Amazon S3 云服务轻松实现存储(1)

级别： 中级 Andrew Glover, 合伙人, ThirstyHead.com 　　2009 年 5 月 04 日 Amazon Simple Storage Service (S3) 是一个公开的服务，Web 应用程序开发人员可以使用它存储数字资产，包括图片、视频、音乐和文档。 S3 提供一个 RESTful API 以编程方式实现与该服务的交互。通过本文，您将了解如何使用开源

职场
服务
休闲
Amazon
转载 点赞0 阅读2202 收藏0 评论0 2010-07-05

Dropbox

简介　　Dropbox是一个用来在网络和你不同电脑之间同步的软件 　　淘宝目前已经出现Dropbox免费版 奖励直通车 用奖励的方式迅速扩容到9G或者更大的空间！ 　　将文件放入一台电脑的Dropbox里面去，文件就能即时的同步到Dropbox的服务器端， 这些文件在你任何安装了Dropbox的电脑上都可以访问（Windows, Mac, and Linux都行！）。你可以用电脑或者移

职场
休闲
Dropbox
转载 点赞0 阅读1198 收藏0 评论0 2010-07-04

利用开源的Gearman框架构建分布式图片处理平台[原创]

[文章作者：张宴 本文版本：v1.0 最后修改：2009.11.01 转载请注明原文链接：http://blog.s135.com/dips/]　 　2009年10月28日，在金山逍遥技术支持部内部分享会上，介绍了Gearman分布式计算框架与金山逍遥DIPS分布式图片处理平台，以下是PPT 图片：　　　 　　　　 　　 　　 　　 　　 　　 　　 　PDF版本下载：　　下载

开源
平台
框架
分布式
Gearman
转载 点赞0 阅读874 收藏0 评论0 2010-07-03

利用Gearman来实现远程监控与管理

Gearman是一个分发任务的程序框架，可以用在各种场合，与Hadoop相比，Gearman更偏向于任务分发功能。它的任务分布非常 简单，简单得可以只需要用脚本即可完成。Gearman最初用于LiveJournal的图片resize功能，由于图片resize需要消耗大量计算资 源，因此需要调度到后端多台服务器执行，完成任务之后返回前端再呈现到界面。 Gearman分布式任务实现原

职场
管理
休闲
Gearman
转载 点赞0 阅读574 收藏0 评论0 2010-07-03

Map Reduce – the Free Lunch is not over?

微软著名的C++大师Herb Sutter在2005年初的时候曾经写过 一篇重量级的文章：”The Free Lunch Is Over: A Fundamental Turn Toward Concurrency in Software“， 预言OO之后软件开发将要面临的又一次重大变革-并行计算。 摩尔定律统制下的软件开发时代有一个非常有意思的现象：”Andy giveth, and

not
Map
Free
Lunch
Reduce
转载 点赞0 阅读471 收藏0 评论0 2010-06-10

Hbase集成到Hadoop的一些注意事项

安装、部署hadoop和hbase的文章网上已经很多了，这里说下自己安装、部署时遇到的 一些问题。1、  hadoop-env.sh的文件里添加：export HADOOP_CLASSPATH=$HBASE_HOME/hbase-0.20.3.jar:$HBASE_HOME/conf:$HBASE_HOME/lib/zookeeper-3.2.2.jar注意红色部分，网上的文档没提

职场
休闲
事项
Hadoop
Hbase
转载 点赞0 阅读3700 收藏0 评论0 2010-06-10

利用Mapreduce处理Hbase表里的数据

主要参考文献有： http://wiki.apache.org/hadoop/Hbase/MapReduce Hbase源代码： IdentityTableMap.java TestTableMapReduce.java 如果是利用Mapreduce程序插入数据到Hbase表 里，那wiki上的例子就基本可用跑通了（当然，前提是环境部署都没问题）。 如果是利用Mapreduce

数据
休闲
Mapreduce
表里
Hbase
转载 点赞0 阅读4188 收藏0 评论0 2010-06-10

Hbase集成到Hadoop的一些注意事项

安装、部署hadoop和hbase的文章网上已经很多了，这里说下自己安装、部署时遇到的 一些问题。1、  hadoop-env.sh的文件里添加：export HADOOP_CLASSPATH=$HBASE_HOME/hbase-0.20.3.jar:$HBASE_HOME/conf:$HBASE_HOME/lib/zookeeper-3.2.2.jar注意红色部分，网上的文档没提

职场
休闲
事项
Hadoop
Hbase
转载 点赞0 阅读362 收藏0 评论0 2010-06-10

HBase的安装、配置、管理与编程

环境准备 需 要环境： PC-1  Suse Linux 9             10.192.1.1 PC-2  Suse Linux 9        &n

职场
管理
休闲
HBase
转载 点赞1 阅读10000+ 收藏0 评论0 2010-06-10

Hadoop分布式文件系统：架构和设计要点

Hadoop分布式文件系统：架构和设计要点 原文：http://hadoop.apache.org/core/docs/current/hdfs_design.html 一、前提和设计 目标 1、硬件错误是 常态，而非异常情况，HDFS可能是有成百上千的server组成，任何一个组件都有可能一直失效，因此错误检 测和快速、自动的恢复是HDFS的核心架构目标。 2、跑在HDFS上的应用

文件系统
架构
分布式
要点
Hadoop
转载 点赞0 阅读520 收藏0 评论0 2010-06-10

Hbase集成到Hadoop的一些注意事项

安装、部署hadoop和hbase的文章网上已经很多了，这里说下自己安装、部署时遇到的 一些问题。1、  hadoop-env.sh的文件里添加：export HADOOP_CLASSPATH=$HBASE_HOME/hbase-0.20.3.jar:$HBASE_HOME/conf:$HBASE_HOME/lib/zookeeper-3.2.2.jar注意红色部分，网上的文档没提

职场
休闲
事项
Hadoop
Hbase
转载 点赞0 阅读3552 收藏0 评论0 2010-06-10

GWT+Hadoop+Hbase搭建(转)

望能够给同学们提供些便捷，节省些时间。文章 中有转载其他达人的内容，但是本着与时俱进的原则，对里面的诸多内容进行了修改。 搭建Hadoop/Hbase环境： 1.在 Apache/Hadoop项目的网站(hadoop.apache.org/)下载hadoop以及hbase的发行包,此处两个发行包的大版本号一定 要一致,我使用的版本是0.20.1:   hadoop-0.20.1.t

职场
休闲
GWT
Hadoop
Hbase
转载 点赞0 阅读900 收藏0 评论0 2010-06-10

微软云计算基础虚拟化(闲言碎语)

      参加虚拟化峰会之后并用心研究微软的云，才让我对于微软的云有了一些了解，他们的云端，是以虚拟化为基础，并核心思想在于方便用户使用。但是其缺点是，如果有一端出现“重大”问题，那么所有的端都会受到影响，不过后面又说明了，有解决办法，具体的方案，可能涉及到核心，不便透露，不过以我的经验也能猜测得到。再有后面参加的服务器虚拟化论坛中也受益匪浅，例

微软
基础
虚拟化
休闲
闲言碎语
原创 点赞0 阅读659 收藏0 评论1 2010-06-04

应邀参加微软虚拟化峰会归来

我作为云计算的研究员，前几天收到微软虚拟化峰会的邀请函，正式邀请我参加峰会，并且峰会的时间就是今天6.3日。    首先我很荣幸被微软邀请参加此次峰会，峰会的主题是“秉虚为实，畅游云端”，这八个字气势磅礴，却涵盖了整个会议的内容。    和以往一样我穿戴整齐之后，按照以往上班时间出发去往峰会，峰会举办地点在大望路的，也就是国贸附近的北京银

微软
虚拟化
休闲
峰会
参加
原创 推荐 点赞0 阅读1421 收藏0 评论4 2010-06-03

本博客正式更名为“云计算架构师-解占辉”

本博客正式更名为“云计算架构师-解占辉”特向社会各界通报！

职场
博客
架构
休闲
解占辉
原创 点赞0 阅读938 收藏0 评论5 2010-06-03

FAILED: Error in metadata: javax.jdo.JDOFatalDataStoreException:

hive中按ctrl+c强制退出之后，再次进入hive,然后输入show tables;或其他命令，都会报告以下错误FAILED: Error in metadata: javax.jdo.JDOFatalDataStoreException: Failed to start database 'metastore_db', see the next exception for details.N

FAILED
Error
metadata
javax
jdo
原创 点赞5 阅读6773 收藏0 评论0 2010-05-19

hadoop hive sql语法解释

DDL Operations 创建表 hive> CREATE TABLE pokes (foo INT, bar STRING); 创建表并创建索引字段ds hive> CREATE TABLE invites (foo INT, bar STRING) PARTITIONED BY (ds STRING); 显示所有表 hive> SHOW

sql
语法
解释
hadoop
hive
转载 点赞0 阅读10000+ 收藏0 评论0 2010-05-18

数据库与数据仓库的区别

数据仓库是不可以更新的，而数据库是既可以更新又可以读取的。数据库是面向事务的设计，数据仓库是面向主题设计的  数据库一般存储在线交易数据，数据仓库存储的一般是历史数据。数据库设计是尽量避免冗余，一般采用符合范式的规则来设计，数据仓库在设计是有意引入冗余，采用反范式的方式来设计。数据库是为捕获数据而设计，数据仓库是为分析数据而设计，它的两个基本的元素是维表和事实表。维是看问题的角度，比如时

职场
数据仓库
数据库
休闲
原创 点赞0 阅读950 收藏0 评论0 2010-05-18

云框架Hadoop之Hive基本操作

在上一讲<<云框架Hadoop之部署Hive>>上，我们谈到了hadoop的数据仓库hive.下面我们说明一下hive的简单查询应用。在hadoop环境下，shell下直接输入hive,就会出现hive shell操作界面。关于HIVE里的SQL，我习惯性的将HIVE的SQL语句叫做HQL，事实上HQL有很多和SQL类似的地方,还有一点要说明的是HQL数据存储位置是在Had

职场
休闲
Hadoop
Hive
云框架
原创 点赞0 阅读5383 收藏0 评论0 2010-05-18

HDFS+MapReduce+Hive+HBase 十分钟快速入门（二）

备 注：fs.default.name指定NameNode的IP地址和端口号,缺省值是file:///,，表示使用本地文件系统,，用于单机非分布式模式。 dfs.replication指定HDFS中每Block被复制 的次数，起数据冗余备份的作用。在典型的生产系统中，这个数常常设置为3。 7.3.   修改masters 这一步只需要在master节点上执行。 这个

入门
MapReduce
Hive
HBase
HDFS
转载 点赞0 阅读10000+ 收藏0 评论0 2010-05-18
  • 1
  • 2

Copyright © 2005-2022 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 意见反馈 了解我们 全部文章
在线客服 网站地图 热门标签
友情链接
开源基础软件社区 51CTO学堂
51CTO