meng_philip的博客_网站架构设计

达达-高性能服务端优化之路

https://tech.imdada.cn/2015/11/04/%E9%AB%98%E6%80%A7%E8%83%BD%E6%9C%8D%E5%8A%A1%E7%AB%AF%E4%BC%98%E5%8C%96%E4%B9%8B%E8%B7%AF/提纲业务场景最初的技术选型读写分离垂直分库水平分库（sharding）总结业务场景达达是全国领先的最后三公里物流配送平台。达达的业务模式与滴滴以及U

优化

架构

高性能

置顶转载精选 2016-03-17 09:25:43 1264 阅读 1点赞 1收藏

CC 攻击的防御（－）通过 Cookie 抵挡 CC 攻击

转载:http://v2ex.com/t/260392#reply5CC 攻击发生在 TCP/IP 协议的第七层，一般方式是在很短的时间里对网站发起大量请求，消耗目标服务器的资源，使目标网站负载过高而不能访问。CC 攻击和 UDP Flood, TCP SYN Flood 这类位于 TCP/IP 第四层的攻击相比，对自己的资源消耗更少，对服务器的攻击强度更高，有四两拨千斤的效果。如果防御不好，呵呵

cc攻击

转载精选 2016-03-02 09:25:58 791 阅读 1收藏

MySQL 高可用架构在业务层面细化分析研究

转载:http://blog.csdn.net/leyangjun/article/details/50723019 相对于传统行业的相对服务时间9x9x6或者9x12x5，因为互联网电子商务以及互联网游戏的实时性，所以服务要求7*24小时，业务架构不管是应用还是数据库，都需要容灾互备，在mysql的体系中，最好通过在最开始阶段的数据库架构阶段来实

高可用

MySQL

转载精选 2016-02-27 11:21:31 348 阅读 1点赞 1收藏

大众点评订单分库分表实践

转载:http://mp.weixin.qq.com/s?__biz=MzIxMjE3NTg2NA==&mid=410147285&idx=1&sn=ace46deefdf0661a98f9a30ecb1278ff&scene=5&srcid=0219t0NeY7aoHEL6WWC1HKbv#rd背景订单单表早已突破两百G，因查询维度较多，即使加了两个从库，

分库分表

深度实践

置顶转载精选 2016-02-21 22:08:21 7005 阅读 1点赞 1收藏

浏览器缓存知识小结及应用

转载:http://www.cnblogs.com/lyzg/p/5125934.html?f=tt阅读目录1. 浏览器缓存基本认识2. 强缓存的原理3. 强缓存的管理4. 强缓存的应用5. 协商缓存的原理6. 协商缓存的管理7. 浏览器行为对缓存的影响浏览器缓存，也就是客户端缓存，既是网页性能优化里面静态资源相关优化的一大利器，也是无数web开发人员在工作过程不可避免的一大问题，所以在产品开发的

浏览器缓存

客户端缓存

协商缓存

静态资源更新

前端增量更新

webapp缓存

转载精选 2016-01-27 09:06:05 454 阅读 1收藏

58怎么玩数据库架构（upyun架构与运维大会速记）

转载:http://mp.weixin.qq.com/s?__biz=MjM5ODYxMDA5OQ==&mid=403369608&idx=1&sn=48c56d64c2b5c27fed795219e7ba214a&scene=5&srcid=0118Hq4PjXdELVb0ZXf7oFpe#rd大家好，我是58沈剑，今天我分享的主题是《58怎么

数据库架构

置顶转载精选 2016-01-18 22:21:26 541 阅读 1收藏

OpenResty大会--章亦春演讲文字版

转载:http://mp.weixin.qq.com/s?__biz=MzI2MDAyOTIyNA==&mid=400642479&idx=1&sn=157c008bdb0290286d5b85cdbf0bed3f&scene=2&srcid=1120jdwydiuq6PBssAsVW2ts&from=timeline&isappinstal

OpenResty

转载精选 2016-01-04 20:54:18 4961 阅读 1点赞

千万级规模高性能、高并发的网络架构经验分享

转载:http://mp.weixin.qq.com/s?__biz=MzA3MzYwNjQ3NA==&mid=401628413&idx=1&sn=91abfbad4c7dc882e94939042a8785a4&scene=5&srcid=1216Bg745q1Hh6EKqc2J42wT#rd作者简介：卫向军，毕业后在微软工作五年，接着去了金山云，做的金

网络架构

高性能

高并发

千万级

转载精选 2015-12-16 22:19:27 1656 阅读 1点赞

京东商品详情页服务闭环实践

转载:http://jinnianshilongnian.iteye.com/blog/2258111 该文章是根据OpenResty Con 2015技术大会的演讲《Nginx+Lua在京东商品详情页的大规模应用》细化而来，希望对大家有用。京东商品详情页技术方案在之前《构建需求响应式亿级商品详情页》这篇文章已经为大家揭秘了，接下来为大

京东详情页服务

转载精选 2015-11-26 21:57:36 544 阅读 1点赞

京东商品详情页碎碎念

转载:http://jinnianshilongnian.iteye.com/blog/2259546在之前的两篇文章《构建需求响应式亿级商品详情页》和《京东商品详情页服务闭环实践》已经详细介绍了整个系统的架构设计和实现思路。本篇将介绍下杂七杂八的一些实践：静态化突发流量恶意访问托底数据超时时间/重试CDN回源监控和报警日志静态化我个人总结为：数据静态化、页面片段静态化、页面静态化；数

架构

转载精选 2015-11-26 21:52:49 743 阅读

分布式数据库中间件对比总结(1)

转载:http://www.woqutech.com/?p=1779 目前数据库中间件有很多，基本这些中间件在下都有了解和使用，各种中间件优缺点及使用场景也都有些心的。所以总结一个关于中间件比较的系列，希望可以对大家有帮助。1. 什么是中间件传统的架构模式就是应用连接数据库直接对数据进行访问，这种架构特点就是简单方便。但是随着目前数据量不断的增大我们就遇到了

分布式数据库中间件

转载精选 2015-11-21 17:55:46 2979 阅读

淘宝分布式文件系统TFS设计

转载:http://mp.weixin.qq.com/s?__biz=MzAwNjQwNzU2NQ==&mid=400432205&idx=3&sn=05e982dffc40fac44c8e2f456f63d3ff&scene=5&srcid=1113qUkPX5qa2Jihkd4kOkgd#rdTFS（Taobao File System）是一个高可用、高

分布式文件系统

转载精选 2015-11-14 16:39:56 1891 阅读

IM系统架构设计之浅见

转载:http://mp.weixin.qq.com/s?__biz=MzAwNjQwNzU2NQ==&mid=400432205&idx=1&sn=1033c57d3854a8bd695d46752027970d&scene=5&srcid=111313OePDHE0W6rM0EoDxo0#rd背景：除去大名鼎鼎的QQ这款即时聊天工具，还有许多细分行业的I

IM

转载精选 2015-11-13 21:08:53 3726 阅读

系统负载能力浅析

转载:http://www.rowkey.me/blog/2015/09/09/load-analysis互联网时代，高并发是一个老生常谈的话题。无论对于一个web站点还是app应用，高峰时能承载的并发请求都是衡量一个系统性能的关键标志。像阿里双十一顶住了上亿的峰值请求、订单也确实体现了阿里的技术水平（当然有钱也是一个原因）。那么，何为系统负载能力？怎么衡量？相关因素有哪些？又如何优化呢？一. 衡

系统负载

转载精选 2015-10-27 13:49:43 292 阅读

大规模网站架构的缓存机制和几何分形学

转载:http://mp.weixin.qq.com/s?__biz=MjM5NTg2NTU0Ng==&mid=214107751&idx=5&sn=574e7cf0ae8cffb3c76866e97d3ca884&scene=5&srcid=1004g1YcjAElxxc54oRYOUn4#rd【导读】徐汉彬曾在阿里巴巴和腾讯从事4年多的技术研发工作，负责

网站架构

缓存设计

转载精选 2015-10-05 10:17:30 403 阅读

秒杀系统架构解密与防刷设计 - 高可用架构系列

转载:http://mp.weixin.qq.com/s?__biz=MzAwMDU1MTE1OQ==&mid=209083286&idx=1&sn=51287666d25c9aff4afa1aec142f7f8a&;scene=5&;srcid=09135YB9o4LVtVHvAkXAGtLf#rd此文是根据吕毅在【QCON高可用架构群】中的分享内容整理而

高可用

秒杀

转载精选 2015-09-14 12:50:48 6566 阅读 3点赞 1评论

CentOS 7.x安装ELK(Elasticsearch+Logstash+Kibana)

转载:http://www.chenshake.com/centos-install-7-x-elk-elasticsearchlogstashkibana/第一次听到ELK，是新浪的@ARGV 介绍内部使用ELK的情况和场景，当时触动很大，原来有那么方便的方式来收集日志和展现，有了这样的工具，你干完坏事，删除日志，就已经没啥作用了。很多企业都表示出他们很关心安全，不过他们压根就没看过和关注过自己

nginx

redis

elk

日志分析平台

转载精选 2015-09-01 13:23:03 2349 阅读 1点赞 2收藏

Centos 6.5 安装nginx日志分析系统 elasticsearch + logstash + redis + kibana

转载:http://blog.chinaunix.net/xmlrpc.php?r=blog/article&uid=17291169&id=4898582随着业务的增长，web服务器的增加，网站规模扩张，作为系统管理员需要分析网站的访问情况，在应用层方面，我们可以嵌入js来统计网站的pv 独立ip，回头率，访问区域热点图等，常见的有piwiki ，cnzz站长数据统计，在系统管理

elasticsearch

logstash

kibana

elk

转载精选 2015-09-01 13:19:26 1461 阅读 2收藏

使用ELK(Elasticsearch + Logstash + Kibana) 搭建日志集中分析平台实践

前言Elasticsearch + Logstash + Kibana（ELK）是一套开源的日志管理方案，分析网站的访问情况时我们一般会借助Google/百度/CNZZ等方式嵌入JS做数据统计，但是当网站访问异常或者被攻击时我们需要在后台分析如Nginx的具体日志，而Nginx日志分割/GoAccess/Awstats都是相对简单的单节点解决方案，针对分布式集群或者数据量级较大时会显得心有余而力不

elasticsearch

logstash

kibana

elk

转载精选 2015-09-01 13:14:21 1503 阅读 2点赞 1收藏 1评论

亿级商品详情页架构演进技术解密 | 高可用架构系列二

张开涛：2014年加入京东，主要负责商品详情页、详情页统一服务架构与开发工作，设计并开发了多个亿级访问量系统。工作之余喜欢写技术博客，有《跟我学Spring》、《跟我学Spring MVC》、《跟我学Shiro》、《跟我学Nginx+Lua开发》等系列教程，博客 http://jinnianshilongnian.iteye.com/ 的访问量超过500W。

亿级架构

转载精选 2015-09-01 09:10:16 1147 阅读 1点赞 1收藏

亿级商品详情页架构演进技术解密 | 高可用架构系列

张开涛：2014年加入京东，主要负责商品详情页、详情页统一服务架构与开发工作，设计并开发了多个亿级访问量系统。工作之余喜欢写技术博客，有《跟我学Spring》、《跟我学Spring MVC》、《跟我学Shiro》、《跟我学Nginx+Lua开发》等系列教程，博客 http://jinnianshilongnian.iteye.com/ 的访问量超过500W。

亿级架构

转载精选 2015-09-01 09:08:46 1359 阅读 1点赞 1收藏

基于HBase做Storm 实时计算指标存储——速记版

Hi，大家好，我叫祝海林，微信号叫祝威廉，本来微博也想叫祝威廉的，可惜被人占了，于是改名叫·祝威廉二世。然后总感觉哪里不对。目前在乐视云数据部门里从事实时计算，数据平台、搜索和推荐等多个方向。曾从事基础框架，搜索研发四年，大数据平台架构、推荐三年多，个人时间现专注于集群自动化部署，服务管理，资源自动化调度等方向。这次探讨的主题是：基于 HBase 做 Storm 实时计算指标存储HBase 实时指

storm

hbase

转载精选 2015-08-29 19:18:45 1571 阅读 1点赞

agentzh 的 Nginx 教程（版本 2015.03.19）第二篇

转载:http://openresty.org/download/agentzh-nginx-tutorials-zhcn.html#02-NginxDirectiveExecOrder10Nginx 变量漫谈（七）在（一）中我们提到过，Nginx 变量的值只有一种类型，那就是字符串，但是变量也有可能压根就不存在有意义的值。没有值的变量也有两种特殊的值：一种是“不合法”（i

nginx

置顶转载精选 2015-08-28 09:11:44 1516 阅读 1点赞 1收藏

agentzh 的 Nginx 教程（版本 2015.03.19）第一篇

转载:http://openresty.org/download/agentzh-nginx-tutorials-zhcn.html#02-NginxDirectiveExecOrder10目录缘起Nginx 教程的连载计划Nginx 变量漫谈（一）Nginx 变量漫谈（二）Nginx 变量漫谈（三）Nginx 变量漫谈（四）Nginx 变量漫谈（五）Nginx 变量漫谈（六）Nginx 变量漫谈

nginx

置顶转载精选 2015-08-28 09:10:16 1410 阅读 1点赞 1收藏

logstash,elasticsearch,kibana三件套

转载:http://www.cnblogs.com/yjf512/p/4194012.htmlelk是指logstash,elasticsearch,kibana三件套，这三件套可以组成日志分析和监控工具注意：关于安装文档，网络上有很多，可以参考，不可以全信，而且三件套各自的版本很多，差别也不一样，需要版本匹配上才能使用。推荐直接使用官网的这一套：elkdownloads。比如我这里下载的一套是l

elasticsearch

logstash

kibana

转载精选 2015-08-27 13:11:07 1171 阅读 1点赞 1收藏

elk+redis 搭建nginx日志分析平台

转载:http://www.cnblogs.com/yjf512/p/4199105.htmlelk+redis 搭建nginx日志分析平台logstash,elasticsearch,kibana 怎么进行nginx的日志分析呢？首先，架构方面，nginx是有日志文件的，它的每个请求的状态等都有日志文件进行记录。其次，需要有个队列，redis的list结构正好可以作为队列使用。然后分析使用ela

nginx

redis

elk

日志分析平台

转载精选 2015-08-27 13:10:09 873 阅读 1点赞

2013-09-16 构建C1000K的服务器(1) – 基础

转载:http://www.ideawu.net/blog/archives/740.html著名的 C10K 问题提出的时候, 正是 2001 年, 到如今 12 年后的 2013 年, C10K 已经不是问题了, 任何一个普通的程序员, 都能利用手边的语言和库, 轻松地写出 C10K 的服务器. 这既得益于软件的进步, 也得益于硬件性能的提高.现在, 该是考虑 C1000K

c1000k

转载精选 2015-08-20 17:21:30 213 阅读

iOS与PHP加密解密

之前说过, iOS 的加密解密方法非常不方便, 不易于和 PHP 或者 Java 之间交互, 比较封闭.为了和PHP服务器端方便地进行加密解密操作, 我封装了 RSA 类. 使用这个类, 你可以用你喜欢的工具, 如 openssl 命令行, PHP 脚本, 生成友好的公钥或者私租文本, 然后 iOS 使用这些密钥进行加密, PHP 进行解密, 或者 PHP 进行解密, 由 iOS 进行解

php

加密

ios

解密

转载精选 2015-08-20 09:01:30 551 阅读 1点赞

leveldb和rocksdb在大value场景下的一些问题

Table of Contents1 问题1.1 compaction不可控.1.2 写放大1.3 其它问题2 小结Leveldb 2011年7月开源, 到现在有3年了, 原理上已经有很多文章介绍了, 我们就不多说.其中最好的是淘

leveldb

rocksdb

转载精选 2015-08-19 13:13:03 10000+阅读 1点赞

如何用消息系统避免分布式事务？

前阵子从支付宝转账1万块钱到余额宝，这是日常生活的一件普通小事，但作为互联网研发人员的职业病，我就思考支付宝扣除1万之后，如果系统挂掉怎么办，这时余额宝账户并没有增加1万，数据就会出现不一致状况了。上述场景在各个类型的系统中都能找到相似影子，比如在电商系统中，当有用户下单后，除了在订单表插入一条记录外，对应商品表的这个商品数量必须减1吧，怎么保证？！在搜索广告系统中，当用户点击某广告

分布式事务

消息系统

转载精选 2015-08-14 08:34:42 754 阅读 1点赞

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

网站架构技术总结

达达-高性能服务端优化之路

CC 攻击的防御（－）通过 Cookie 抵挡 CC 攻击

MySQL 高可用架构在业务层面细化分析研究

大众点评订单分库分表实践

浏览器缓存知识小结及应用

58怎么玩数据库架构（upyun架构与运维大会速记）

OpenResty大会--章亦春演讲文字版

千万级规模高性能、高并发的网络架构经验分享

京东商品详情页服务闭环实践

京东商品详情页碎碎念

分布式数据库中间件对比总结(1)

淘宝分布式文件系统TFS设计

IM系统架构设计之浅见

系统负载能力浅析

大规模网站架构的缓存机制和几何分形学

秒杀系统架构解密与防刷设计 - 高可用架构系列

CentOS 7.x安装ELK(Elasticsearch+Logstash+Kibana)

Centos 6.5 安装nginx日志分析系统 elasticsearch + logstash + redis + kibana

使用ELK(Elasticsearch + Logstash + Kibana) 搭建日志集中分析平台实践

亿级商品详情页架构演进技术解密 | 高可用架构系列二

亿级商品详情页架构演进技术解密 | 高可用架构系列

基于HBase做Storm 实时计算指标存储——速记版

agentzh 的 Nginx 教程（版本 2015.03.19）第二篇

agentzh 的 Nginx 教程（版本 2015.03.19）第一篇

logstash,elasticsearch,kibana三件套

elk+redis 搭建nginx日志分析平台

2013-09-16 构建C1000K的服务器(1) – 基础

iOS与PHP加密解密

leveldb和rocksdb在大value场景下的一些问题

如何用消息系统避免分布式事务？