微博的架构图怎么画微博的组织结构图

转载

mob64ca14147fe3 2023-08-08 16:37:27

文章标签 微博的架构图怎么画新浪微博 memcached cache 存储 文章分类 架构后端开发

草草整理的网络的

微博的架构图怎么画微博的组织结构图_memcached

1.构建可扩展微博架构TimYang 新浪微博技术架构师
2.从博客到微博
3.博客功能发表浏览留言 ContentManager System
4.博客技术 ,LAMP MySQL master/slave Memcached PHP CDN
5.微博微博，产品 Real-time关注关系信息聚合
6.信息聚合
7.信息聚合微博两种信息聚合设计模式 Push(推 )Pull( 拉)
8.Push 把微博看做邮件Inbox:收到的微博Outbox:已发表微博发表：存到所有粉丝 inbox(重 )查看：直接访问Inbox(轻 )
9.Push(Figure) User A UpdateAction Inbox (Append to 1’s hometimeline) Inbox (Append to 2’s home timeline) Inbox (Append to 3’shome timeline) Followers of User A = 1, 2, 3
10.Push 优点：实现简单，首选缺点：分发量
11.Pull 发表：存到自己outbox(轻 )查看：所有关注对象Inbox(重 )
12.Pull User I Get home_timeline Outbox (statuses sent by A) Outbox(Statuses sent by B) Outbox (Statuses sent by C) User I’sFollowing List = A, B, C
13.Pull 优点：节约存储缺点：计算量大
14.微博是一个消息分发系统可采取推或拉的方式实现
15.架构挑战：峰值-如除夕、春节
16.请求量如果发表量 5,000万 /天平均：578条 /秒设计系统容量： 2,000?
17.IO 瓶颈峰值： 5,000– 10,000? 100,000?
18.后果LatencyDB read timeout 前端timeout(503 error) 解决方案？
19.异步设计不同步等待将消息存入消息队列 (MessageQueue) 轻量级的发表
20.MQ products Kestrel by twitter RabbitMQ, an Erlang Queue ServerMemcacheq 在新浪微博项目大规模使用
21.Memcacheq 基于Berkeleydb, 稳定可靠Memcachedprotocol, 丰富的clientlibrary 容易监控(statsqueue) 只有2个命令：get/set
22.避免单点故障核心服务，需避免单独故障方法使用多个 Memcacheq池 Get操作:轮询所有服务器Set操作:随机选择一个无需其他复杂“架构”设计
23.MQ 方式通用的优点Offlinework 应用请求量不均衡解耦异步通讯原则
24.使用MQ原则计算开销大于消息分发开销
25.架构挑战：实时性
26.越重要的事件，越希望实时性
27.The value of the tweet decreases exponentially with time JohnKalucki, Twitter http://t.sina.com.cn/pub/star#a_ty
28.解决思路Cache中心化Ramis the new the disk
29.Local Cache Memcached Database buffer/cache
30.LAMP 中，cache=可选层Cache中心化后新的问题
31.容量问题TB级思路：压缩 QuickLZLZO 不用gzip
32.单点问题单点故障 ,SIGSEGV 如何应对1.Consistent hash 2. Read-through cache
33.Consistent hash 原理优点震荡最小
34.Read-through cache
35.Read-through and Write-through Products or projects MySQL memcachedUDF Cache money for Ruby on Rails Or wrap a proxy for the db driver,in any language
36.Evictions 问题Evections:cache 数据被踢性能的噩梦 Latency产生的源头之一
37.如何避免evictions规划cache容量将永久数据与临时数据分开不使用随机字符作为 key
38.Multiget 问题Whenmemcached servers are CPU bound, adding more memcached serversdoesn't help serve more requests. - Jeff Rothschild, Vice Presidentof Technology at Facebook
39.Cache 挑战：multigethole
40.解决方法Memcachedreplication
41.架构挑战：海量存储
42.架构挑战：国内网络带宽问题
43.地理分布考虑到以下原因，需要分布式部署访问速度 IDC不可用故障分布的核心是数据分布
44.数据地理分布原理Master-slaveMaster-master 2PC/3PC Paxos http://timyang.net/data/multi-idc-design/
45.地理分布的方案MySQLmaster/slave Dynamo/Cassandra PNUTS
46.架构挑战：API访问量
47.以新浪微博开放平台为例RESTAPI 编程简单，library丰富可用 curl,javascript 实现一个client缺点单向询问方式如何解决轮询压力
48.解决方案：SinaApp Engine Sina App Engine 应用云平台提供微博API底层支持并可以 host微博app
49.微博,Web 2.0 最核心技术之一还有更多的架构挑战等待解决欢迎加入新浪微博技术团队
50.Q&A 新浪微博：@TimYang Twitter: @ xmpp Email: iso1600 @ gmail.com