TimYangNet的博客_BlackBerry ,data,Erlang原创(2)

第一期广州技术沙龙预告

主题： 1. 选好业务和技术，单枪匹马做游戏 (赖勇浩) 2. 分布式key/value store漫谈(Tim Yang 杨卫华) 全部演讲稿将在会后公开。时间：2009/08/08 14:00进场，14:30开始地点：广州市天河路208号粤海天河城大厦39F 新浪公司活动指南：已经报名的同学请检查确认邮件(周二8/3之前会全部发出)。凭名片(报名的姓名)或身份证件在粤海天

技术

广州

沙龙

休闲

预告

原创 2009-08-03 17:30:00 918 阅读

分布式key/value store演讲草稿(一)

今天初步考虑了一下，列了一些提纲，还需要进一步完善。也希望大家提出一些意见。为什么大部分Web应用都应转向分布式的Key/Value store Dynamo Consistent Hashing N,R,W Virtual Node Vector Clock 与传统key/value store的区别，软件还是需要服务

key

草稿

分布式

value

store

原创 2009-07-27 17:30:00 1075 阅读

一次Punch Party活动的感悟

深圳和广州一样，存在IT聚会较少的问题。目前华南比较固定的只有UCDChina的线下聚会，但是UCD的活动比较垂直，因此受众也相对有限。不过最近深圳有群不甘寂寞的同学组织了两次Punch Party in Shenzhen的活动(Google Group)，话题比较open, 有趣的话题都可以参与，不限是IT话题。有点像北京的open party, 不过形式上更特别。我今天也去了解了一下Punch

活动

感悟

休闲

Party

Punch

原创 2009-07-26 17:30:00 609 阅读

广州技术沙龙安排

广州技术沙龙由一群技术人员发起并参与，旨在以技术的视角看待社会、互联网和未来，以务实精神深化交流，促进广州及华南地区互联网相关技术交流。时间：8月8日14点30分开始地点：新浪华南分公司会议室(可容纳20-50人) 广州市天河路208号粤海天河城39F (初定) 本次活动无需费用。演讲的主题 1.分布式key/value存储dynamo等分析(偏原理, Tim Yang) 2.分

职场

原创 2009-07-24 17:30:00 1062 阅读

国内开放API平台实践的一些问题

随着在国外一些开放API的成功，国内开放的趋势尤其是在SNS领域也开始涌现，实际上开放的需求不局限SNS领域，所有的互联网应用都可以从开放API获得更多的用户使用等潜在的价值。Tim在这方面也进行了一些尝试和思考，这里初步探讨开放API产品及开发方面实践中需要面对的几个问题。一、设计开放API没有明显的标准可以遵循如何设计一个好的鉴权(authentication)体系，安

职场

平台

API

休闲

实践

原创 2009-07-22 17:30:00 1545 阅读

Yahoo!的分布式数据平台PNUTS简介及感悟

在分布式领域有个CAP理论(Brewer’s CAP Theorem) ，是说Consistency(一致性), Availability(可用性), Partition tolerance(分布) 三部分在系统实现只可同时满足二点，没法三者兼顾。所以架构设计师不要把精力浪费在如何设计能满足三者的完美分布式系统，而是应该进行取舍，选取最适合应用需求的其中之二。比如MySQL 5.1 c

平台

简介

分布式

Yahoo

PNUTS

原创 2009-07-21 17:30:00 2654 阅读

广州技术沙龙设想

最近看北京beta技术沙龙及Beijing Open Party举办了多次非常有价值的技术讨论。上海前不久也有TopLanguage的小范围7月4日聚会。广东的技术圈相比之下就显得有点落寞，因此最近也小范围同一些本地网友有过交流，希望也能有本地的定期技术活动，增进本地技术从业人员交流，分享有价值的技术经验以及开展更多深层次的技术活动。话题初步设想以互联网相关技术为主，包括编程语言，架构设计，数据

技术

广州

沙龙

休闲

设想

原创 2009-07-15 17:30:00 1000 阅读

老二应该怎样生存

通常，对于有互斥关系的竞争产品如IM, 门户网站, SNS社交网站等，可替代性很强，有一个基本就满足用户需求了。而另外一些产品如游戏、社区、论坛等类型产品则相对共处能力比较强，大家基本可以和睦相处，就像看电影一样，用户需要看多部电影，需要经常看电影。对于有互斥竞争关系的产品，在产品设计和技术上并不难赶上对方。比如Office市场上，老二WPS Office在界面和操作上据说就和MS Offic

职场

生存

休闲

老二

原创 2009-07-10 19:30:00 741 阅读

Facebook平台设计(一)

为了研究Facebook platform的设计, 我们可以从最早的第一个版本f8 07开始了解，当时是由Facebook创始人兼CEO Mark Zuckerberg 在2007年5月f8开发者会议上发布的。根据当时的数据是，50%以上的Facebook用户会每天都访问Facebook，超过同行3倍以上。为了理解Facebook平台，我们可以从Facebook相册说起。Facebook相册虽

职场

平台

设计

休闲

Facebook

原创 2009-07-10 17:30:00 549 阅读

关于阙宏宇lighttpd与mod_cache在twitter上的一些讨论

6月28日的beta技术沙龙上阙宏宇介绍了lighttpd与modcache，视频及slide在 http://club.blogbeta.com/76.html，modcache是阙宏宇开发的一个lighttpd module, 它在部分程度上可以替代squid。在活动的介绍上提到 lighttpd是基于事件驱动的高性能web服务器。mod_cache是在lighttpd上运行的缓存插件。

cache

lighttpd

twitter

mod

阙宏宇

原创 2009-07-05 17:30:00 5824 阅读

Facebook的feed格式设计

SNS平台通常有各种格式的feed，如果考虑到feed需要在平台自身、扩展应用及第三方应用或客户端展示的话，通常需要一个统一的规范，而不是发布者本身随意输出最终展示的文字。而且也需要考虑图片、视频等在feed中的统一定义。在facebook它是这样实现的 feed是自描述的，即它不是由生产者决定最终格式，也不是前端决定。而是通过template机制来进行。 template

格式

设计

休闲

Facebook

feed

原创 2009-07-02 17:30:00 4703 阅读

Facebook平台设计(二)

上个月介绍了Facebook平台设计(一)，再继续看f8 2008。f8平台推出在短短一年的应用开发者已经超过40万。keynote继续由Facebook创始人兼CEO Mark Zuckerberg主持(视频)，Mark介绍了一年中不少成功的应用案例，如iLike推出4天就增长到100万用户,以及 livingsocial, Zynga等成功案例。主要的议题包括一、Facebook Conn

职场

平台

设计

休闲

Facebook

原创 2009-07-01 17:30:00 646 阅读

中国共有多少台服务器-初略估算初窥

自从看了《编程珠玑》第7章粗略估算之后就养成了一个奇怪的习惯，喜欢去计算身边的数字。比如一个城市共有多少台电梯，中国共有多少座桥梁等。粗略估算又叫费米近似(Fermi problem)，比如坐广州到深圳的和谐号动车组时候就想，广深线每分钟进入火车站人流量有多大？这个似乎要请专业的调查公司才能得到结果，但实际上每个人几乎都可以算出来，尤其是程序员。和谐号列车有8个车厢，1号和8号

职场

服务器

中国

休闲

估算

原创 2009-05-25 17:30:00 1675 阅读

Google说，一个Datacenter就是一台计算机

要实现一个典型的可扩展Web应用，有一大部分时间要花在Load balance, High availability, Consistent, Scalability等方面。这些都是有经验可循，但是通常无法简单重用。另外目前成熟的相关的部署经验都是孤立的，比如数据库，存储及文件系统，Web服务器都需要分别考虑。另外还有不少非核心的也经常需要用到，如cache, 全文检索, SSO、分布式计算如

职场

Google

计算机

休闲

Datacenter

原创 2009-05-24 17:30:00 1474 阅读

多服务器通讯层应该如何设计—一次code review小记

大型的网络应用服务器(比如即时通讯及游戏服务器等)通常有大量的服务器内部数据通讯需求，几个月前曾经介绍过通讯层的实现再谈点对点通讯模块的故障问题，目前这个程序已经经历了数个版本的重构。今天进行了一次小组code review，讨论了当前版本的一些问题。 I. Background 我们为什么需要一个独立的通讯层对于服务器内部的通讯功能，已经有TCP提供可靠传输，已经有类似Apache MI

服务器

code

通讯

小记

review

原创 2009-05-22 17:30:00 1033 阅读

5%的神话(关于开发效率与职业方向)

Bruce Eckel(Thinking in Java/C++作者) 在他的 5%的神话 (Mythical 5%) 中提到： 5%的程序员开发效率是其他95%程序员的20倍 (5% of programmers are 20x more productive than the other 95%) 按照80-20法则,80%的程序员几乎不看书,不读Blog,不参加技术会议，不持续学习。

开发

职业

效率

休闲

神话

原创 2009-05-19 21:30:00 716 阅读

BlackBerry黑莓8700优缺点

用了BlackBerry 8700一两周了，感觉如下。 1. 自带的浏览器很不错, 感觉比Opera mini好用，支持qwerty全键盘快捷键 2. 输入速度很快，键盘设计很合理尤其是英文, 可以很方便记录很多临时想法, 比如这篇文章刚才在地铁上就完成了 3. 可以和电脑同步address, calender, task. 4. 支持多任务及copy/paste 5. 常用Black

职场

休闲

优缺点

BlackBerry

黑莓

原创 2009-05-19 18:30:00 1406 阅读

搜狐IM

一直认为几大门户中只有搜狐没有做IM，实际上sohu也有个类似的WebIM产品，名字起得有点误导，叫搜狐小纸条。可能是在纸条箱的基础上增加了在线状态等功能，最终变成了一个准IM。在它官方的说明中是这样描述搜狐小纸条及聊天室是搜狐公司 ChinaRenTeam 自主研发的Web即时聊天工具它服务于所有搜狐用户, 并不断努力为更多网友提供便捷快速的聊天体验！它直接在网页登录, 页面打开，直

职场

休闲

搜狐

原创 2009-05-19 17:30:00 1287 阅读

谈Linux内核定时器

看了3个周末的Linux内核，包括前两周总结的进程与线程，锁与同步。当时研究这个的原因是因为某个程序CPU context switch过高。不过到现在相关的背景知识也了解了，问题也早已经解决了，所以暂时也没有进一步的兴趣驱动去研究内核了，这里是终结篇。:) 在应用程序运行的时候，特别是抢占式的操作系统里面，内核怎么样取得控制权？这依赖硬件支持的系统定时器来实现。内核中有非常多的功能由定时器触发

Linux

职场

休闲

定时器

原创 2009-05-18 17:30:00 1437 阅读

使用脚本引擎增加程序运行时动态执行能力(Java篇)

对于非Web的后台服务程序，经常会碰到这样的需求：动态改变程序运行时参数的能力。如Config.limitValue = 50 动态查看运行时候变量状态的能力，如 print(userMap.size()) 执行代码的能力，如 userMap.clear() 对于需求1,非Web的程序没法像PHP/JSP那样直接改就生效，往往改了某个值，即使是一个配置参数

Java

程序

脚本

动态

引擎

原创 2009-05-18 13:30:00 4231 阅读

了解Linux的锁与同步

上周看了Linux的进程与线程，对操作系统的底层有了更进一步的一些了解。我同时用Linux内核设计与实现和Solaris内核结构两本书对比着看，这样更容易产生对比和引发思考。现代操作系统很多思路都是相同的，比如抢占式的多线程及内核、虚拟内存管理等方面。但另外一方面还是有很多差异。在了解锁和同步之前，原子操作是所有一切底层实现的基础。原子操作Atomic 通常操作系统和硬件都提供特性，可以对一

Linux

职场

休闲

原创 2009-05-10 13:30:00 1601 阅读

QCon Beijing qconbeijing全部演讲资料下载

QCon Beijing 2009 qconbeijing slide download QCon全球企业开发大会（QCon Enterprise Software Development Conference）2009 QCon北京大会全部演讲资料下载 (包含pdf, ppt 等格式slide) 永久链接：http://timyang.net/?p=136 Update 2010/03/

演讲

资料

Beijing

QCon

qconbeijing

原创 2009-05-07 13:30:00 1452 阅读

QCon Beijing 2009 qconbeijing slide download

上周碰到部署在真实服务器上某个应用CPU占用过高的问题，虽然经过tuning, 问题貌似已经解决，但我对tuning的方式只是基于大胆的假设并最终生效了。我更希望更多的求证一下程序背后CPU及OS kernel当时的运作机制。所以我读了一些Linux内核设计与实现及其他一些相关资料，对Linux process的机制与切换有了更多一些体会。本文尽可能条理一点，但由于牵涉点较多，同时自己可能觉得某些

download

Beijing

QCon

qconbeijing

slide

原创 2009-05-03 13:30:00 549 阅读

高性能网站经验-读杨建的Blog有感

今天拜读了杨建的博客, 杨建开发的程序以高请求，高带宽为主，比如：开发的一系列系统中的两个并发达到54.15w req/s , connections 340.25w 高峰一小时近20亿实际http请求处理量。所以整理了一些观点如下，喜欢吃快餐的请进。由于整理下面内容是跨十几篇文章的，就不一一给出链接了，需要看原文的简单Google一下即可找到。一、如何衡量Web Se

Blog

经验

休闲

高性能

杨建

原创 2009-04-28 17:30:00 1029 阅读

Lua coroutine vs Java wait/notify

在上文Lua coroutine 不一样的多线程编程思路中想到coroutine的运行机制跟Java中的wait/notify很相似，所以写了一个简单程序比较一下。源代码 Lua code co = coroutine.create(function(loops) for i = 1, loops do coroutine.yield() end

Java

notify

Lua

coroutine

wait

原创 2009-04-27 17:30:00 1538 阅读

Lua coroutine 不一样的多线程编程思路

上周末开始看《Lua程序设计》第二版，目前体会到其中比较有趣的有两点，一是强大的table数据结构，另外就是coroutine。也许Lua中的coroutine是一种很好的设计模式，但我初步的体会还是没想到其他语言和场合能非常适合用到coroutine的场景。一、简介协同程序与线程差不多，也就是一条执行序列，拥有自己独立的栈，局部变量和指令指针，同时又与其它协同程序共享全局变量和其它大

思路

线程

休闲

Lua

coroutine

原创 2009-04-26 17:30:00 10000+阅读 1点赞 1评论

Thrift and Protocol Buffers performance in Java Round 2

In my last test Thrift and Protocol Buffers performance in Java, Some comments told me that there are some tuning parameter for Protocol Buffer which can improve performance magically. The parameter w

Protocol

performance

Thrift

Buffers

Round

原创 2009-04-03 17:30:00 757 阅读

Ideas for creating a friendfeed like feed aggregator system

I was invited to join a meeting about implement a friendfeed like feed system. Here are some ideas about requirement and architecture, which I typed on my BlackBerry during the meeting. Like th

system

creating

feed

Ideas

aggregator

原创 2009-04-03 17:30:00 703 阅读

Thrift and Protocol Buffers performance in Java

I’ve used Thrift for some log client in our system. I’m going to use Protocol Buffers as the internal communication protocol between our XMPP servers. But I am hard to believe from the thr

Java

Protocol

performance

Thrift

Buffers

原创 2009-04-02 17:30:00 1198 阅读

如何写nginx module

对于一些访问量特别大，业务逻辑也相对简单的Web调用来说，通过一个nginx module来实现是一种比较好的优化方法。实现一个nginx module实际上比较简单。 1. nginx 配置添加 ./configure --add-module=/path/to/module1/source 2. 添加 /path/to/module1/source/config 文件，内容 n

职场

休闲

module

nginx

原创 2009-03-17 17:30:00 4059 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

后端技术

第一期广州技术沙龙预告

分布式key/value store演讲草稿(一)

一次Punch Party活动的感悟

广州技术沙龙安排

国内开放API平台实践的一些问题

Yahoo!的分布式数据平台PNUTS简介及感悟

广州技术沙龙设想

老二应该怎样生存

Facebook平台设计(一)

关于阙宏宇lighttpd与mod_cache在twitter上的一些讨论

Facebook的feed格式设计

Facebook平台设计(二)

中国共有多少台服务器-初略估算初窥

Google说，一个Datacenter就是一台计算机

多服务器通讯层应该如何设计—一次code review小记

5%的神话(关于开发效率与职业方向)

BlackBerry黑莓8700优缺点

搜狐IM

谈Linux内核定时器

使用脚本引擎增加程序运行时动态执行能力(Java篇)

了解Linux的锁与同步

QCon Beijing qconbeijing全部演讲资料下载

QCon Beijing 2009 qconbeijing slide download

高性能网站经验-读杨建的Blog有感

Lua coroutine vs Java wait/notify

Lua coroutine 不一样的多线程编程思路

Thrift and Protocol Buffers performance in Java Round 2

Ideas for creating a friendfeed like feed aggregator system

Thrift and Protocol Buffers performance in Java

如何写nginx module

欢迎