liubin0505star的博客_Docker,系统应用,编程脚本,硬件网络

记一次服务器负载过高的排查过程

事情起因公司内部的一台DNS服务器,运行在Xen的虚拟机上，仅仅运行了Bind服务，但经常有CPU负载过高的报警，同样配置的其他Bind服务器却没有这种情况。排查过程首先看了一下内存使用正常，swap基本没用，因为是阶段性的出现这个问题，使用top命令当时也没有看到服务器的负载有异常，但从loadaverage看到最近的15分钟负载确实有一点高。于是我使用dmesg命令看了一下最近时间段也没有异常

dmesg

strace

置顶原创推荐点赞0 阅读2416 收藏0 评论0 2021-03-12

修改 Docker 容器中的时间

因为开发需要一个定时的任务场景进行测试，然后我们的环境也是运行在docker里面，所以需要改一下我们测试环境中的docker时间。经过查询了解，主要是如下两种方式：添加--cap-addSYS_TIME参数第一种是通过在docker启动的时候添加--cap-addSYS_TIME参数启动容器后，在docker容器里可以直接使用date命令修改容器中的时间，但这样宿主机的时间也会修改，因为docke

docker

置顶原创点赞0 阅读5010 收藏0 评论1 2020-11-27

Python 爬取豆瓣网中搜索的指定内容

如上图，当前我想要爬取豆瓣的小组中，涉及到意大利留学内容的所有的小组标题和对应的URL。这里利用Python脚本，分别使用两种方式爬取我需要的内容。两个脚本分别如下：使用selenium模块爬取#-*-coding:utf-8-*-#python3.6importcsvimporttimefrombs4importBeautifulSoupfromseleniumimportwebdriverfr

python

requests

selenium

置顶原创点赞1 阅读2102 收藏0 评论0 2021-01-29

SQL Server 2005 数据恢复总结

前段时间9月24日由于自己的误操作误删除了SQL Server2005数据库一个表的数据...人生第一次误删数据！当时紧张恐慌然后胃疼...最终在同事的帮助下通过完整备份和事务日志备份恢复了，为了搞明白原理趁着想学的劲上网学习，根据自己的理解做了笔记和实验，供大家参考，有问题多多指教

数据恢复

数据库

SQL2005

事务日志

置顶原创推荐点赞3 阅读2190 收藏0 评论2 2015-10-08

Logstash 本地调试日志笔记

rubydebug格式输出input{file{path="/data/log/test.log"读取本地日志目录start_position="beginning"每次重新启动从日志的开头读sincedb_path="/dev/null"该参数用来指定sincedb文件名，但是如果我们设置为/dev/null这个linux系统上特殊的空洞文件，那么logstash每次重启进程的时候，尝试读取si

logstash

rubydebug

原创点赞0 阅读131 收藏0 评论0 2022-06-13

Python 将日志上传到远程 Rsyslog

配置Rsyslog1./etc/rsyslog.conf配置如下配置ModLoadimudpUDPServerRun514ModLoadimtcpInputTCPServerRun514templateremoteincominglogs,"/data/log/%YEAR%/%MONTH%/%DAY%/%programname%/%hour%".?remoteincominglogs2.重启rsy

logging

rsyslog

原创点赞0 阅读247 收藏0 评论0 2022-06-11

Ubuntu SFTP 配置使用 Python 上传文件

SFTP配置1./etc/ssh/sshd_config添加如下配置Subsystemsftp/usr/lib/openssh/sftpserverSubsystemsftpinternalsftpMatchGroupsftpMatchUsersftpChrootDirectory/data/sftp/AllowTcpForwardingnoX11ForwardingnoForceCommandi

sftp

pysftp

原创点赞0 阅读87 收藏0 评论0 2022-06-03

Zabbix 通过自动发现的方式监控日志

使用的自动发现脚本!/usr/bin/python3coding:utf8此脚本文件用于获取需要监控的日志文件的绝对路径importosimportjsondefcollect_log(path):logfiles=direc_list=os.listdir(path)fordirecindirec_list:filepath=os.path.join(path,direc)ifos.path.i

zabbix

log

原创点赞0 阅读267 收藏0 评论0 2022-03-07

访问指定 Web URL 自动执行命令的 Python 小脚本

fromflaskimportFlask,requestimportosapp=Flask(__name__)@app.route('/run')defrun_command():remote_ip=request.remote_addros.popen('此处为要执行的系统命令')return'ok!'if__name__'__main__':app.run(debug=False,host='

flask

python

原创点赞0 阅读433 收藏0 评论0 2021-12-28

Python 爬取酷我音乐中指定歌手的全部音频

本博客内容仅用于Python学习与交流。本次用于学习测试的链接：http://www.kuwo.cn/singer_detail/6070625使用Chrome浏览器打开要测试爬取的链接，在Chrome的控制台找要爬取的链接，流程步骤截图分别如下：1.!页面1.png(https://s2.51cto.com/images/20211028/1635392011236308.png?xosspro

python

requests

原创点赞23 阅读1645 收藏0 评论1 2021-11-01

使用 Python3 脚本给多个人同时发送多个 excel 附件

importsmtplibfromemail.utilsimportCOMMASPACE,formatdatefromemail.messageimportEmailMessagedefsend_mail(send_from,send_to,subject,content,files=,email_server="smtp.exmail.qq.com"):msg=EmailMessage()msg

smtplib

email

excel

原创点赞12 阅读659 收藏2 评论1 2021-10-09

Git 配置使用代理

当前Git主要与SSH、HTTP/HTTPS等协议来工作，经过一番了解，如果需要为Git配置代理，这几种协议的代理方式也是不同的。另外代理也是有2种协议，一种是HTTP/HTTPS，一种是SOCKS，这里仅记录Windows和Mac系统下使用SOCKS5代理。GitSSH协议配置使用代理Mac系统GitSSH配置方式1.1确认本地Socks5监听端口这里以Ss为例，点击『Ss』图标，然后点击『偏好

git

原创点赞0 阅读2298 收藏1 评论0 2021-09-08

Elasticsearch 查询

termterm：查询的内容不会被分词。通常查询适合于date、num、id等确切的数据查询。{"query":{"term":{"remote":"118.101.141.15"}}}matchmatch：先对查询内容进行分词计算，然后逐个对分词后结果进行匹配查询。查询"/task/info",只要有task或info的都返回结果。{"query":{"match":{"path":"/task

elasticsearch

term

match

match_phrase

bool

原创点赞0 阅读342 收藏0 评论0 2021-08-31

使用 Python 脚本拷贝指定格式的文件

#-*-coding:utf-8-*-#python2.7importosimportsysimportshutilfile_list=[]#想要拷贝的文件格式，例如txtextended_format=sys.argv[1]#拷贝文件的源目录名称src_dir=sys.argv[2]#拷贝文件的目标目录名称dst_dir=sys.argv[3]ifos.path.exists(src_dir):

python

原创点赞0 阅读174 收藏0 评论0 2021-06-02

Bash 中 stderr 和 stdout 的输出与打印

在Bash中，如果想将标准输出和标准错误输出重定向到同一日志文件，同时只打印标准错误输出，可尝试以下方法：[root@ssgwo~]#cattest_std.sh#!/bin/bashLOG="/tmp/test.log"exec1>>$LOGexec2>>>(tee-a$LOG>&2)datedstatwho[root@ssgwo~]#[root@ss

bash

stderr

stdout

原创点赞0 阅读279 收藏0 评论0 2021-05-05

Linux 实用的命令小技巧

文件内容首尾颠倒来查看#cattest.txt|tac文件中每行内容左右颠倒查看#revtest.txt打印文件内容到屏幕的同时追加到指定文件中#pingbaidu.com|tee-a/tmp/output.txt使用find结合xargs统计过滤后的文件大小只过滤当前目录的第一层目录中，类型是文件并且修改时间是3天前的，统计其文件大小。#find.-maxdepth1-mtime+3-typef

shell

awk

sed

grep

原创点赞0 阅读371 收藏0 评论0 2021-04-28

CentOS 7 使用 systemd 自定义服务和参数

日常系统维护时，如果想把自己的脚本自定义成服务，并设置自定义的参数时，可使用如下方法，已在CentOS7.3中验证通过。首先要注意的是服务文件名称的格式，格式一定要是filename@.service这种格式。当自定义脚本test.sh参数是一个的时候，服务文件内容如下：[Unit]Description=wdroot[Service]Type=forkingExecStart=/usr/bin/

systemd

原创点赞0 阅读1501 收藏0 评论0 2021-04-13

MariaDB MaxScale 和 Galera Cluster 配置参考

简介MariaDBMaxScale是一个数据库代理，它扩展了MariaDBServer的高可用性，可伸缩性和安全性，同时通过将其与底层数据库基础架构分离来简化应用程序开发，采用可扩展的体系结构设计，支持插件，将其功能扩展到透明负载平衡之外，成为数据库防火墙。通过内置多个路由器，过滤器和协议的插件，MariaDBMaxScale可以配置为根据业务和技术要求转发数据库请求和修改数据库响应。例如，屏蔽敏

galera

mariadb

maxscale

原创点赞0 阅读1977 收藏0 评论0 2021-03-27

Graylog 日志系统

简介Graylog是一个开源的日志管理系统。能够通过不同Input接口接收日志，并为用户提供Web访问接口，它使用Elasticsearch索引和保存日志，使用MongoDB作为配置信息的存储。大致工作流程是日志信息通过Inputs进入Graylog，如果有设置日志字段提取的话经过Extractor，之后到达Streams日志流中,最后就是根据Streams日志流设置写入指定Index

graylog

log

logstash

syslog

原创点赞0 阅读3008 收藏0 评论0 2021-03-24

Linux 删除文件中空行的方法

在Linux上处理一些数据文件时，有时候需要将其中的空行过滤掉，系统中提供的各种工具都可以完成这个功能。将常用的介绍如下吧：使用grep命令#grep.data.txt#grep-v'^$'data.txt#grep'[^$]'data.txt使用sed命令#sed'/^$/d'data.txt#sed'/^\s*$/d'data.txt#这个命令还可将完全空格、tab等组成的空行删掉。使用awk

grep

sed

awk

tr

转载点赞0 阅读551 收藏0 评论0 2021-03-23

CentOS 7 加入 AD 域

前言企业中如果使用了Linux和Windows，想要统一管理,则可以将需要管理的Linux主机和Windows主机都加入WindowsActiveDirectory，即AD也就是我们常说的域。以下便是记录CentOS7加入AD域的操作，使用的是Realmd，它配置Linux系统服务（如sssd或winbind）来执行实际的网络身份验证和用户帐户查找。环境信息域：test.local域控：dc01.

ad

原创点赞2 阅读10000+ 收藏3 评论2 2021-03-22

Apache 工作的三种模式

模式查看Web服务器Apache目前一共有三种稳定的MPM（Multi-ProcessingModule，多进程处理模块）模式。它们分别是prefork、worker、event，它们同时也代表着Apache的演变和发展。如何查看我们的Apache的工作模式呢？可以使用httpd-V命令或apachectl-V命令查看。#apachectl-VServerversion:Apache/2.4.6(

httpd

apache

转载点赞0 阅读487 收藏0 评论0 2021-03-22

Linux I/O Scheduler (调度器)

Linux系统使用I/O调度算法，在各个竞争执行磁盘I/0的进程之间做仲裁。这个I/O调度器对请求的次序和时机做最优化处理，以求针对一个应用或者场合，取得尽可能最好的整体I/O性能。常用调度算法说明CFQ（CompletelyFairQueuing）这是2.6版的Linux内核的默认调度算法，对于通用服务器来说通常是比较好的选择。它试图均匀的分布对I/O带宽的访问。Deadline这个算法试图把每

io

cfq

原创点赞0 阅读1354 收藏1 评论0 2021-03-13

PostgreSQL 查看哪些语句执行时间过长

问题描述最近生产上的PostgreSQL发现有几个进程一直长时间运行，通过top命令能看到很多对应postgres进程都跑到接近100%，而且TIME+时间很长。最终找到了查看CPU执行时间过长是哪个语句。我这里当前使用的数据库版本是PostgreSQL9.6.6。查看占用CPU最多的几个PostgreSQL进程#psaux|greppostgres|sort-n-r-k3|head-10|awk

postgresql

原创点赞0 阅读4050 收藏1 评论0 2021-03-03

Kubernetes 学习笔记之 Deployment 实践操作

简介Deployment为Pod和ReplicaSet（升级版的ReplicationController）提供声明式更新。你只需要在Deployment中描述您想要的目标状态是什么，Deploymentcontroller就会帮您将Pod和ReplicaSet的实际状态改变到您的目标状态。您可以定义一个全新的Deployment来创建ReplicaSet或者删除已有的Deployment并创建一

kubernetes

deployment

原创点赞0 阅读496 收藏0 评论0 2021-03-02

Kubernetes 学习笔记之 PV 与 PVC 的创建引用

简介PersistentVolume（PV）是K8S集群中由管理员配置的一段网络存储。它是集群中的资源，就像节点是集群资源一样。PV是容量插件，如Volumes，但其生命周期独立于使用PV的任何单个Pod。此API对象捕获存储实现的详细信息，包括NFS，iSCSI或特定于云提供程序的存储系统。PersistentVolumeClaim（PVC）是K8S中由用户进行存储的请求。它类似于Pod。Pod

kubectl

kubernetes

原创点赞15 阅读1108 收藏1 评论2 2021-02-26

Fluentd 的日志收集配置

前言先简单说明一下，当前生产中我们所有的服务都运行在docker里面，到目前为止还没有使用k8s来管理docker，日常的更新部署等主要还是使用ansible+jenkins结合来进行的，例如docker中服务的日志则是通过挂载到宿主机的目录当中，然后通过运行fluentd的docker也是通过挂载的方式读取宿主机所在的日志目录来进行收集。以下的配置说明示例使用的fluentd的1.9.1版本。环

fluentd

原创点赞0 阅读4895 收藏0 评论1 2021-02-26

理解 Switch 中的 PVID/VID/Tag/Untag

基本说明pvid(PortVLANID)Untag的port可以转发哪个VLAN的封包(如果是Tagport则例外)例如：此port的PVID=1，代表此port可以转发VLAN1的封包，因为Untag的封包进入port后，会被标上VID1。vid(VLANID)VLAN内的port可以接收发自这个VLAN的封包。例如：此port的VID=2，代表此port可以接收VLAN2的封包。PVID与VI

switch

vlan

原创点赞1 阅读4717 收藏1 评论1 2021-02-23

使用 Xtrabackup 备份与恢复数据库

全量备份与恢复全量备份#innobackupex--user=root--password=123--no-timestamp--databases=wdroot/fullbackup恢复步骤应用事务日志到备份的文件中。#innobackupex--apply-log--user-memory=1G/fullbackup恢复数据到数据库目录中。（恢复前需要先确认/var/lib/mysql目录为空

xtrabackup

原创点赞0 阅读817 收藏0 评论0 2021-01-26

使用 Linux 终端进行算术运算

前言日常在Windows10系统中工作，想快速调用Windows系统中自带的计算器进行算术运算，我们可以直接按一下Windows键，然后输入calc就可以搜索到Calculator也就是Windows自带的计算器，或者使用组合快捷键（Windows键+r键）弹出运行框，在运行框中输入calc命令回车后，也会弹出Windows自带的计算器。在Linux终端上，如果需要算术运算，我们则可以有多种方便快

awk

shell

原创点赞0 阅读523 收藏0 评论0 2021-01-23

官方博客	意见反馈	了解我们	全部文章
在线客服	网站地图	热门标签

51CTO博客

liubin0505star