【7】 作为一种进步的不彻底 不彻底的工作方式，对于架构设计是一种进步。 当一个来自浏览器的用户请求到达Twitter后台系统的时候，第一个迎接它的，是Apache WebServer。第二个出场的是Mongrel RailsServer。Mongrel既负责处理上传的请求，也负责处理下载的请求。Mongrel处理上传和下载的业务逻辑非常简洁，但是简洁的表象之下，却蕴含着反常规的设计。这种反常
近日，Twitter首次重磅发布《无界畅游：2022年Twitter游戏出海全球洞察白皮书》（以下简称《白皮书》），作为提供全球实时热点和公众对话服务的数字平台， Twitter也是透视全球游戏产业发展的“瞭望台”。《白皮书》通过深入分析中国游戏出海目的地市场的机遇与挑战，结合游戏行业伙伴、出海营销专家的真知灼见，为中国游戏厂商打造戏打造具有战略性、前瞻性、灵活性和实用性的出海营销宝典，助力中国游
概念
这个页面列出了storm的主要概念和查找更多信息的链接。讨论的概述有：
1. 拓扑（Topologies）
2. 流（Streams）
3. 喷嘴（Spouts）
4. 螺栓（Bolts）
5. 流分组（Stream groupings）
6. 可靠性（Reliability）
7. 任务（Tasks）
翻译
精选
2011-12-16 16:29:17
6137阅读
Storm命令简介
提交Topologies
命令格式：storm jar 【jar路径】 【拓扑包名.拓扑类名】 【拓扑名称】
样例：storm jar /storm-starter.jar storm.starter.WordCountTopology wordcountTop
#提交storm-starter.jar到远程集群，并启动wordcou
原创
2011-12-12 16:41:10
1182阅读
常见模式
这篇文章列出了storm拓扑中各种各样的常见模式。
1. 流连接（Stream join）
2. 批处理（Batching）
3. BasicBolt
4. In-memory缓存 + 字段分组（Fields grouping）组合
5. 流动的Top N
6. 通过TimeCacheMap高效缓存最近更新的对象
翻译
精选
2011-12-11 22:02:14
1953阅读
入门指南
通过这个入门指南，你将学会如何创建storm拓扑（topology）和部署拓扑到storm集群。主要使用Java语言，少许例子使用Python说明Storm的多语言特性。
准备工作
入门指南使用了storm-start项目中的例子。建议您克隆此项目并跟随这些例子。阅读安装开发环境和创建新Storm项目，在你的机器上安装好开发环境和项目。
Storm集群组件
Storm集群表面类
翻译
精选
2011-12-12 00:29:43
3965阅读
点赞
新建Storm项目
这页概述如何设置Storm项目用于开发。步骤如下：
1. 添加Storm的jar包到classpath。
2. 如果使用多语言，添加多语言目录到classpath。
紧跟着来看看 在Eclipse中如何设置storm-starter项目。
添加Storm的jar包到classpath
开发Storm拓扑需
翻译
精选
2011-12-13 11:16:56
1023阅读
本地模式
本地模式用进程模拟一个storm集群，对于开发和测试拓扑比较有用。本地模式运行拓扑和在集群运行拓扑大致相同。
简单地使用LocalCluster类，就能创建一个进程内（in-process）集群。例如：
import backtype.storm.LocalCluster; LocalCluster cluster 
翻译
精选
2011-12-16 14:56:17
1419阅读
点赞
Twitter Storm 安装实战实际上安装Twitter Storm是上周三的事情了，周三的时候安装了一个单机版的，用WordCount跑了一下，感觉还不错。周四试着在集群上安装，碰到了一些问题，一直折腾到周五，留了个尾巴（没有做测试），这周一终于跑了WordCount，先开始出了一些问题，查了很多资料终于解决了。一直想要把这个过程记录一下，一直都比较犯懒，今天因为也要写文档，但还没有什么特别
转载
精选
2013-11-08 16:37:58
779阅读
安装Storm集群
这页概述Storm集群安装和运行的步骤。如果你在AWS，你应该检出storm-deploy项目。storm-deploy完全自动化准备，配置，和在EC2上安装Storm集群 。它还为您安装Ganglia，这样就可以监视CPU，磁盘和网络使用情况。
安装Storm集群的步骤概要：
1. 安装Zookeeper集群。
2. 安装Nimbu
翻译
精选
2011-12-13 12:16:51
2373阅读
点赞
Storm里面
转载
2023-05-09 14:48:26
81阅读
Storm介绍Twitter将Storm正式开源了，这是一个分布式的、容错的实时计算系统，它被托管在GitHub上，遵循
转载
2023-08-03 14:49:19
67阅读
Maven
要开发拓扑，你需要在classpath环境变量设置storm的相关jar文件路径。你也应把未打包的jar文件放到你项目的classpath，或使用maven来管理storm相关的开发依赖包。Storm托管在Clojars（一个maven仓库）。为了在项目中包含storm相关的开发依赖包，在pom.xml文件中添加如下代码：
<repository>  
翻译
精选
2011-12-22 16:57:20
2060阅读
这篇文章列举出了storm topology里面的一些常见模式：
流聚合(stream join)
批处理(Batching)
BasicBolt
内存内缓存 + fields grouping 组合
计算top N
用TimeCacheMap来高效地保存一个最近被更新的对象的缓存
分布式RPC: CoordinatedBolt和KeyedFairBolt
流聚合(stream join)
流
转载
2015-08-29 16:01:00
117阅读
2评论
Rationale
在过去的十年里，数据处理发生了革命性的变化。MapReduce，Hadoop，以及相关的技术使我们可以存储和处理以前不可想象规模的数据。很遗憾，这些数据处理系统都不是实时系统，命中注定也不是它们。根本没办法把Hadoop变成一个实时系统；实时数据处理和批处理的许多要求在根本上有很大不同。
然而，企业对大规模实时数据处理要求越来越多。缺乏“实时Ha
推荐
翻译
2011-12-12 23:49:01
8492阅读
点赞
1评论
设置开发环境
1.下载Storm release，解压，把解压后的/bin路径添加到PATH环境变量。
2. 为了能启动和停止远程集群上的topologies，需要在~/.storm/storm.yaml设置集群信息。
下面是这些步骤的更多细节。
什么是开发环境？
Storm有两种运行模式：本地模式和远程模式。
在本地模式下，你可以在本地机器上完成topologies的开发和
翻译
精选
2011-12-13 10:23:47
1494阅读
序列化
这篇文章是关于序列化方法在storm 0.6.0版及之前版本中是如何工作的。0.6.0版之前，storm使用一种不同的序列化方法，参见 Serialization (prior to 0.6.0)。
元组可由任何一种类型的对象组成。由于storm是一个分布式系统，当对象在任务之间传递时，它需要知道如何序列化和反序列化这些对象。
Storm使用Kryo进行序列化。Kryo是一
翻译
精选
2011-12-23 11:49:06
1489阅读
1、提交Topologies命令格式：storm jar 【jar路径】 【拓扑包名.拓扑类名】【stormIP地址】【storm端口】【拓扑名称】【参数】eg：storm jar /home/storm/storm-starter.jar storm.starter.WordCountTopology wordcountTop;storm jar /home/storm/storm-starte
转载
2013-06-20 09:47:00
108阅读
2评论
可靠消息处理
Storm保证从spout发射出来的每个消息都被完全处理。该文章描述storm如何实现消息可靠处理，从storm的可靠性特性获得好处，用户需要做哪些工作。
消息被完全处理是什么意思？
从spout发射出来的元组能触发创建数千基于它的新元组。考虑一下，例如，单词统计拓扑：
TopologyBuilder builder = new Top
翻译
精选
2011-12-21 13:40:48
2064阅读
点赞
分布式RPC
分布式RPC（DRPC）的真正目的是使用storm实时并行计算极端功能。Storm拓扑需要一个输入流作为函数参数，以一个输出流的形式发射每个函数调用的结果。
DRPC没有多少storm特性，因为它是从storm的原始流，spouts，bolts，拓扑来表达一个模式。DRPC没有单独打包，但它如此有用，以至于和storm捆绑在一起。
概述
分布式
翻译
精选
2011-12-22 11:48:40
3212阅读
