russellye的博客

欢迎

ELK收集nginx日志

一、架构图：二、日志收集方式： ELK收集日志常用的有两种方式，分别是：（1）不修改源日志的格式，而是通过logstash的grok方式进行过滤、清洗，将原始无规则的日志转换为规则的日志。（2）修改源日志输出格式，按照需要的日志格式输出规则日志，logstash只负责日志的收集和传输，不对日志做任何的过滤清洗。这两种方式各有优缺点：第一种方式不用修改原始日志输出格式，直接通过logstash的

ES

nginx

原创 2021-07-20 19:40:00 1004 阅读 1点赞

网站架构设计思考

所谓高并发，指的是同一时间可以处理大量的WEB请求，这个指标用来衡量一个架构的体量和性能。这里的大量如何评估呢？1000算不算？10000算不算？对于中小型的站点来说，可能并发100多就很不错了，但对于像淘宝这样的大型站点，单凭一个接口调用的量就有可能达到百万的并发。在双11这样的大型活动场景里，淘宝的并发请求数都能达到上亿次，这样的体量无论是在国内还是在国际都是排在前列的。要想设计一个高并发的架

web

架构设计

原创 2020-12-03 20:03:09 758 阅读 1点赞

如何通过服务日志构建服务链路监控系统

如何通过服务日志构建链路监控。这里主要在于为大家提供一种思路。我们来关注一个案例，我们需要关注一条链路的服务质量，这条链路如下图所示：这条链路由三部分组成，首先是客户端直接调用入口七层nginx服务，之后nginx向下转发到web服务层，之后web服务层向下请求一些服务的数据层接口。那么当客户端反馈目前响应速度较慢，那么我们怎么确定到底是哪一层的问题呢？针对这个需求，我们首先需要分析可能出现哪些情

全流量监控

日志监控

原创 2020-11-18 15:25:28 789 阅读 1点赞

检测两台机器上文件的差异

生产环境中，web服务器大多会做负载均衡，所以有多台机器上跑着同样的web程序代码。如果严格按照规范流程上线，即不人为特意更改代码，那么这多台机器上的代码一定是一样的，并不会存在两台机器上同一个文件内容不同的情况。但，本案例的需求就是要检查两台机器同一个文件的差异，毕竟我们不确定服务器上的代码是否有人为改动过。具体需求如下。1）两台机器A和B，检查目标目录为/data/wwwroot/www.ab

linux

md5对比

shell

ssh

原创 2020-11-04 23:24:00 1345 阅读

Python监控进程状态并实现告警

公司的应用程序有时候会莫名其妙地挂掉，如果我们经常去登录服务器看是不是程序挂了，挂了再拉起，那样是非常耗时和麻烦的事情。后来我们通过使用supervisor去守护启动，实现方法如下：那什么是supervisor了？Supervisor是用Python开发的一个client/server服务，是Linux/Unix系统下的一个进程管理工具，不支持Windows系统。它可以很方便地监听、启动、停止、重

运维

进程监控

邮件告警

python

原创推荐 2020-10-27 11:42:19 9649 阅读 2收藏

windows运维初尝试

由于业务需要windows机器运行程序，沟通之后发现团队里大家并没有windows相关的运维经验，一番调研后决定以虚机+cygwin方式作为管理方案。一、cygwin的安装部署我们可以到Cygwin的官方网站下载Cygwin的安装程序，地址是：http://www.cygwin.com/，下载完成后，运行setup.exe程序，出现安装画面。直接点“下一步”即可。这里无需过多阐述。注意这里有三种安

windows运维

批量管理

cygwin

虚机

原创 2020-10-23 16:45:53 807 阅读

监控漫谈

监控俗称“第三只眼”。没了监控，什么基础运维，业务运维都是“瞎子”。所以说监控是运维这个职业的根本。尤其是在现在DevOps这么火的时候，用监控数据给自己撑腰，这显得更加必要，有人说运维是背锅侠，那么，有了监控，有了充足的数据，一切以数据说话，还需要背锅吗，所以作为一个优秀的工程师，如何构建一套监控系统是需要做好的第一件工作。一、常见的运维监控工具现在运维监控工具非常多，哪个好，哪个不好，哪个适合

监控

linux

业务运维

监控体系

原创 2020-10-09 17:29:10 779 阅读 1评论

ZooKeeper与kafka的工作机制以及集群应用架构

1.ZooKeeper基础与入门1.1ZooKeeper概念介绍在介绍ZooKeeper之前，先来介绍一下分布式协调技术，所谓分布式协调技术主要是用来解决分布式环境当中多个进程之间的同步控制，让他们有序的去访问某种共享资源，防止造成资源竞争（脑裂）的后果。这里首先介绍下什么是分布式系统，所谓分布式系统就是在不同地域分布的多个服务器，共同组成的一个应用系统来为用户提供服务，在分布式系统中最重要的是进

kafka

zookeeper

原创 2020-09-18 11:38:19 780 阅读

python ini配置文件管理

配置文件是常用文件，配置文件格式分为：文本文件，ini文件，xml文件等；这里主要讲下ini配置文件管理。ini文件ini文件主要分下面三部分：1：ini文件格式；2：ini相关模块操作；3：实际案例：使用Python修改mysql配置文件；ini文件格式介绍：ini文件是一种常用配置文件，由节、键、值组成；文件格式如下：section]#节key=value#key：键，value为值一个配置文

python

ini

配置文件

原创 2020-09-02 12:32:20 1351 阅读

服务器被植入挖矿病毒案例实录

一、问题现象收到告警，服务器CPU飙升至100%，影响了服务本身耗时，导致大量超时告警二、分析问题现象只是问题的表面，要了解本质的东西，必须要“深入虎穴”，先登录服务器，看看整个系统的运行状态，再做进一步的判断。top命令执行后，截图如下：这个服务器是16核32GB内存，硬件资源配置还是很高的，但是，从图中可以看出，系统的平均负载较高，发现都在10以上，有个pid为16717的minerd的进程，

安全

linux

原创 2020-08-28 17:09:47 5217 阅读

Linux单机系统故障问题汇总

一、处理linux系统故障的思路作为一名优秀的linux工程师，一定要有一套清晰、明确的解决故障思路，当问题出现时，才能迅速定位、解决问题，在开始本专栏学习之前，我根据多年工作和处理问题和故障的经验，总结出了一套处理问题的一般思路，供大家参考：1、重视报错提示信息：每个错误的出现，都是给出错误提示信息，一般情况下这个提示基本定位了问题的所在，因此一定要重视这个报错信息，如果对这些错误信息视而不见，

linux

系统故障

死机

fstab

boot

原创 2020-08-17 12:01:10 1920 阅读 1点赞

磁盘IO问题分析工具

计算机有三大件：CPU、内存、磁盘，这三者有一个“拖后腿”的，那就是磁盘。在生产环境，作为数据库角色的服务器磁盘建议拿至少4块硬盘做RAID10，这样既保证数据读写速度也保证数据的安全。如果使用普通的磁盘，即使CPU再强悍，最终的服务器性能也不会太好。本案例背景是这样的，一台机器，收到告警磁盘IO达到100%，但是登录机器后查看并没有什么异常，也就是说磁盘飙到100%只是短暂的一会儿。既然出现了1

linux

IO

shell

iotop

iostat

原创 2020-08-11 11:59:37 1542 阅读 1点赞

shell多线程

最近看到一个前辈留下的shell，发现竟然是shell多线程，便研究了下。也许你会有疑问，Shell这么简单的脚本语言有多线程这一说吗？答案是有的。只不过它实现起来稍微有点难理解罢了，因为它借助了命名管道实现。所谓多线程就是原本由一个进程完成的事情现在由多个线程去完成。假如一个进程需要10小时完成的事情，现在分配10个线程，给他们分工，然后同时去做这件事情，最终可能就需要1小时。文件描述符：文件描

shell

多线程

原创 2020-08-04 13:44:53 2461 阅读 1收藏

配置https

HTTP咱们已经熟悉了，一个网址例如这样子，http://xxx.com，传统的HTTP站点有一个很大安全隐患，就是所有和用户传输的信息都是明文未经过加密这样子很容易就被截取到重要的信息，所以HTTPS应运而生，那么什么又是HTTPS呢？简单的说HTTPS就是安全版的HTTP啦，HTTPS是由HTTP+SSL，也就是在HTTP上又加了一层处理加密信息的模块，所以传输的数据都是加密后的数据，http

https

原创 2020-07-29 16:55:43 437 阅读

脚本方式处理网站被***

上半年负责的一个业务官网经常被***，这里总结下当时的处理方法。有的朋友可能不知道什么叫CC***，在这里我简单介绍一下。CC***属于DDos***的一种，者会利用大量“肉鸡”对***目标网站发起请求，并且频率很快，这样会导致目标网站的服务器承受不住而瘫痪。CC***虽然看起来跟正常的访问几乎没有什么区别，但如果我们仔细分析访问日志还是可以找到一些线索，比如某个IP访问频次很高，或者某几个IP的user_a

网站被***

原创 2020-07-21 15:27:58 1304 阅读

linux内核tcp调优规范与方案

1、TCP常用内核参数优化上一篇我们介绍了服务器上有大量的TIME_WAIT等待，可能造成的危害，以及给web服务器带来负担。如何解决这个问题呢，其实，解决思路很简单，就是让服务器能够快速回收和重用那些TIME_WAIT的资源即可。这就是对tcp调优。在linux系统上，对tcp调优主要是通过调整Linux内核参数来实现的，其实主要是对/proc文件系统进行设置，/proc文件系统是一种内核和内核

tcp

linux系统参数

syn***

time_wait

原创精选 2020-07-14 22:03:20 4478 阅读 1点赞

http并发和tcp连接数的监控与调优

在网站访问慢的时候，要能迅速查找慢的原因，这其中，检查web状态至关重要，web状态是指目前网站的并发数、等待数、QPS/TPS等信息，如何获取这些状态信息呢，需要使用多个命令组合来完成，这里就web日常运维中经常用到的一些命令和组合分享给大家，作为调优依据。1、查看TCP连接状态netstat-nat|awk'{print$6}'|sort|uniq-c|sort-rnnetst

http

网站

原创 2020-07-14 15:59:25 4142 阅读

python文本处理

r打开只读文件，该文件必须存在。r+打开可读写的文件，该文件必须存在。w打开只写文件，若文件存在则文件长度清为0，即该文件内容会消失。若文件不存在则建立该文件。w+打开可读写文件，若文件存在则文件长度清为零，即该文件内容会消失。若文件不存在则建立该文件。a以附加的方式打开只写文件。若文件不存在，则会建立该文件，如果文件存在，写入的数据会被加到文件尾，即文件原先的内容会被保留。a+以附加方式打开可读

Python

原创 2020-03-15 18:16:29 731 阅读

关于gbk, gb2312，unicode，utf-8等字符编码的问题

对于字符编码，时间长了很容易搞混，这里不在阐述各个字符集的来龙去脉，仅记下结论：ascii:8bit,主要存放的是英⽂文,数字,特殊符号gb2312：16bit，简体字版中文gbk:16bit,主要存放中⽂文和亚洲字符.兼容ascii和gb2312unicode:16bit和32bit两个版本.平时我们⽤用的是16bit这个版本.全世界所有国家的⽂文字信息.缺点:浪费空间(传输和存储)utf-8:

字符编码

原创 2020-03-15 17:25:57 753 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

长江渔夫

欢迎

ELK收集nginx日志

网站架构设计思考

如何通过服务日志构建服务链路监控系统

检测两台机器上文件的差异

Python监控进程状态并实现告警

windows运维初尝试

监控漫谈

ZooKeeper与kafka的工作机制以及集群应用架构

python ini配置文件管理

服务器被植入挖矿病毒案例实录

Linux单机系统故障问题汇总

磁盘IO问题分析工具

shell多线程

配置https

脚本方式处理网站被***

linux内核tcp调优规范与方案

http并发和tcp连接数的监控与调优

python文本处理

关于gbk, gb2312，unicode，utf-8等字符编码的问题