027ryan的博客_文章收集转载博文

关于大型网站技术演进的思考（二十一）--网站静态化处理—web前端优化—下【终篇】（13）

本篇继续web前端优化的讨论，开始我先讲个我所知道的一个故事，有家大型的企业顺应时代发展的潮流开始投身于互联网行业了，它们为此专门设立了一个事业部，不过该企业把这个事业部里的人事成本，系统运维成本特别是硬件采购的成本都由总公司来承担，当然互联网业务上的市场营销成本这块还是由该事业部自己承担，可是网站一年运维下来，该公司发现该事业部里最大的成本居然不是市场营销的开销，而是短

互联网

运营商

数据中心

第三方

市场营销

转载精选 2016-02-19 12:20:00 468 阅读

关于大型网站技术演进的思考（十五）--网站静态化处理—前后端分离—中（7）

上篇里我讲到了一种前后端分离方案，这套方案放到服务端开发人员面前比放在web前端开发人员面前或许得到的掌声会更多，我想很多资深前端工程师看到这样的技术方案可能会有种说不出来的矛盾心情，当我的工作逐渐走向越来越专业化的前端开发后，我就时常被这套前后端分离方案所困惑，最近我终于明白了这个困惑的本源在哪里了，那就是这套前后端分离方案其实是服务端驱动的前后端分离方案，它的实现手段又是从服务端的MVC架构体

源代码

工程师

最大的

服务端

互联网应用

转载精选 2016-02-19 11:28:23 335 阅读

关于大型网站技术演进的思考（十四)网站静态化处理--前后端分离—上（6）

前文讲到了CSI技术，这就说明网站静态化技术的讲述已经推进到了浏览器端了即真正到了web前端的范畴了，而时下web前端技术的前沿之一就是前后端分离技术了，那么在这里网站静态化技术和前后端分离技术产生了交集，所以今天我将讨论下前后端分离技术，前后端分离技术讨论完后，下一篇文章我将会以网站静态化技术的角度回过头来重新审视下前后端分离技术，希望通过这种审视来加深我们对两套技术的理解。　　前后端分离技术我

浏览器

文章

服务端

可能性

催化剂

转载精选 2016-02-19 11:23:24 430 阅读

关于大型网站技术演进的思考（十三）--网站静态化处理—CSI（5）

讲完了SSI，ESI，下面就要讲讲CSI了，CSI是浏览器端的动静整合方案，当我文章发表后有朋友就问我，CSI技术是不是就是通过ajax来加载数据啊，我当时的回答只是说你的理解有点片面，那么到底什么是CSI技术了？这个其实要和动静资源整合的角度来定义。　　CSI技术其实是在页面进行动静分离后，将页面加载分为两个步骤完成，第一步是加载静态资源，静态资源加载完毕后进行第二步骤加载动态资源。不过这个定

朋友

浏览器

技术

搜索引擎

文章

转载精选 2016-02-19 11:18:27 431 阅读

关于大型网站技术演进的思考（十二）--网站静态化处理—缓存（4）

　上篇我补充了下SSI的知识，SSI是一个十分常见的技术，记得多年前我看到很多门户网站页面的后缀是.shtml，那么这就说明很多门户网站都曾经使用过SSI技术，其实现在搜狐网站也还在用shtml，如下图所示：由此可见SSI在互联网的应用还是非常广泛的。其实互联网很多网页如果我们按照动静分离策略拆分，绝大部分都是可以当做静态资源处理，

技术

互联网

淘宝

服务端

搜狐网站

转载精选 2016-02-19 11:14:39 361 阅读

关于大型网站技术演进的思考（十一）网站静态化处理—动静分离策略（3）

前文里我讲到了网站静态化的关键点是动静分离，动静分离是让动态网站里的动态网页根据一定规则把不变的资源和经常变的资源区分开来，动静资源做好了拆分以后，我们就可以根据静态资源的特点将其做缓存操作，这就是网站静态化处理的核心思路。由此可见，网站静态化处理的核心就是动静分离和缓存两大方面，上篇我简单讲述了动静整合的基础知识，本篇将会讲述两大核心之一的动静分离策略，只有把动静分离策略做好了，缓

技术

网站

基础知识

关键点

门牌号

转载精选 2016-02-19 11:11:26 496 阅读

关于大型网站技术演进的思考(十)网站静态化处理—动静整合方案（2）

上篇文章我简要的介绍了下网站静态化的演进过程，有朋友可能认为这些知识有点过于稀松平常了，而且网站静态化的技术基点也不是那么高深和难以理解，因此它和时下日新月异的web前端技术相比，就显得不伦不类了。其实当我打算写本系列的之前我个人觉得web前端有一个点是很多人都知道重要，但是有常常低估它作用的，那就是web前端和web服务端如何融合的这个点上，这个点再加上我们要做出一个规模庞大，高并

文章

运营商

服务端

优化网站

关键点

转载精选 2016-02-19 11:06:24 457 阅读

关于大型网站技术演进的思考（九）--网站静态化处理--总述（1）

在存储瓶颈的开篇我提到像hao123这样的导航网站只要它部署的web服务器数量足够，它可以承载超大规模的并发访问量，如果是一个动态的网站，特别是使用到了数据库的网站是很难做到通过增加web服务器数量的方式来有效的增加网站并发访问能力的。但是现实情况是像淘宝、京东这样的大型动态网站在承担高并发的情况下任然能保证快速的响应，这其中有什么样的技术手段可以达到动态网站支撑高并发的场景了，这也

web服务器

web开发

hao123

个人总结

导航网站

转载精选 2016-02-19 10:59:38 390 阅读

关于大型网站技术演进的思考（八）--存储的瓶颈终篇（8）

　在开始本篇主要内容前，我们一起看看下面的几张截图，首先是第一张图，如下图所示：　这是一家电商网站的首页，当我们第一次打开这个首页，网站会弹出一个强制性的对话框，让用户选择货物配送的地址，如果是淘宝和京东的话，那么这个选择配货地址的选项是在商品里，如下图是淘宝的选择配送地点：下图是京东选择配货

路由器

对话框

淘宝

京东

港珠澳大桥

转载精选 2016-02-19 10:56:10 497 阅读

关于大型网站技术演进的思考（七）--存储的瓶颈（7）

本文开篇提个问题给大家，关系数据库的瓶颈有哪些？我想有些朋友看到这个问题肯定会说出自己平时开发中碰到了一个跟数据库有关的什么什么问题，然后如何解决的等等，这样的答案没问题，但是却没有代表性，如果出现了一个新的存储瓶颈问题，你在那个场景的处理经验可以套用在这个新问题上吗？这个真的很难说。　　其实不管什么样的问题场景最后解决它都要落实到数据库的话，那么这个问题场景一定是击中了

文章

数据库表

关系数据库

代表性

什么什么

转载精选 2016-02-19 10:52:41 267 阅读

关于大型网站技术演进的思考（六）--存储的瓶颈（6）

在讲数据库水平拆分时候，我列出了水平拆分数据库需要解决的两个难题，它们分别是主键的设计问题和单表查询的问题，主键问题前文已经做了比较详细的讲述了，但是第二个问题我没有讲述，今天我将会讲讲如何解决数据表被水平拆分后的单表查询问题。　　要解决数据表被水平拆分后的单表查询问题，我们首先要回到问题的源头，我们为什么需要将数据库的表进行水平拆分。下面我们来推导下我们最终下定决心做水平拆分表的演

技术

网站

记录

数据表

关系数据库

转载精选 2016-02-19 10:47:01 224 阅读

关于大型网站技术演进的思考（五）--存储的瓶颈（5）

上文里我遗留了两个问题，一个问题是数据库做了水平拆分以后，如果我们对主键的设计采取一种均匀分布的策略，那么它对于被水平拆分出的表后续的查询操作将有何种影响，第二个问题就是水平拆分的扩容问题。这两个问题在深入下去，本系列就越来越技术化了，可能最终很多朋友读完后还是没有找到解决实际问题的启迪，而且我觉得这些问题都是像BAT这样巨型互联网公司才会认真思考的，因此本篇我打算换个角度来阐述本文

朋友

技术

网站

互联网

数据库

转载精选 2016-02-19 10:38:55 401 阅读

关于大型网站技术演进的思考（四）--存储的瓶颈（4）

如果数据库需要进行水平拆分，这其实是一件很开心的事情，因为它代表公司的业务正在迅猛的增长，对于开发人员而言那就是有不尽的项目可以做，虽然会感觉很忙，但是人过的充实，心里也踏实。　　数据库水平拆分简单说来就是先将原数据库里的一张表在做垂直拆分出来放置在单独的数据库和单独的表里后更进一步的把本来是一个整体的表进一步拆分成多张表，每一张表都用独立的数据库进行存储。当表被水平拆分

技术

网站

数据库

数据表

最大的

转载精选 2016-02-19 10:31:54 251 阅读

关于大型网站技术演进的思考（三）--存储的瓶颈（3）

存储的瓶颈写到现在就要进入到深水区了，如果我们所做的网站已经到了做数据库垂直拆分和水平拆分的阶段，那么此时我们所面临的技术难度的挑战也会大大增强。　　这里我们先回顾下数据库的垂直拆分和水平拆分的定义：　　垂直拆分：把一个数据库中不同业务单元的数据分到不同的数据库里。　　水平拆分：是根据一定的规则把同一业务单元的数据拆分到多个数据库里。　　垂直拆分是一个粗粒度的拆分数据，它

技术

网站

数据库

成本

java工程师

转载精选 2016-02-19 10:26:51 443 阅读

memcache的一致性hash算法使用

一、概述 1、我们的memcache客户端（这里我看的spymemcache的源码），使用了一致性hash算法ketama进行数据存储节点的选择。与常规的hash算法思路不同，只是对我们要存储数据的key进行hash计算，分配到不同节点存储。一致性hash算法是对我们要存储数据的服务器进行hash计算，进而确认每个key的存储位置。 2、常规hash算法的应用以及其弊端&nb

服务器

客户端

解决方案

转载精选 2016-02-19 10:19:30 533 阅读

关于大型网站技术演进的思考（二）--存储的瓶颈（2）

上篇里我讲到某些网站在高并发下会报出503错误，503错误的含义是指网站服务端暂时无法提供服务的含义，503还表达了网站服务端现在有问题但是以后可能会提供正常的服务，对http协议熟悉的人都知道，5开头的响应码表达了服务端出现了问题，在我们开发测试时候最为常见的是500错误，500代表的含义是服务端程序出现了错误导致网站无法正常提供服务，500通常是服务端异常和错误所致，

技术

网站

数据库

服务端

逻辑性

转载精选 2016-02-19 10:11:48 333 阅读

关于大型网站技术演进的思考（一）--存储的瓶颈（1）

前不久公司请来了位互联网界的技术大牛跟我们做了一次大型网站架构的培训，两天12个小时信息量非常大，知识的广度和难度也非常大，培训完后我很难完整理出全部听到的知识，今天我换了个思路是回味这次培训，这个思路就是通过本人目前的经验和技术水平来思考下大型网站技术演进的过程。　　首先我们要思考一个问题，什么样的网站才是大型网站，从网站的技术指标角度考虑这个问题人们很容易犯一个毛病就是认为网站的访问量是衡量的

技术

服务器

互联网

访问量