liubin0505star的博客_K8s，Python,系统应用,编程脚本,硬件网络

Graylog 日志系统

简介Graylog是一个开源的日志管理系统。能够通过不同Input接口接收日志，并为用户提供Web访问接口，它使用Elasticsearch索引和保存日志，使用MongoDB作为配置信息的存储。大致工作流程是日志信息通过Inputs进入Graylog，如果有设置日志字段提取的话经过Extractor，之后到达Streams日志流中,最后就是根据Streams日志流设置写入指定Index

graylog

log

logstash

syslog

置顶原创精选 2021-03-24 18:28:17 4971 阅读

Python 爬取豆瓣网中搜索的指定内容

如上图，当前我想要爬取豆瓣的小组中，涉及到意大利留学内容的所有的小组标题和对应的URL。这里利用Python脚本，分别使用两种方式爬取我需要的内容。两个脚本分别如下：使用selenium模块爬取#-*-coding:utf-8-*-#python3.6importcsvimporttimefrombs4importBeautifulSoupfromseleniumimportwebdriverfr

python

requests

selenium

置顶原创精选 2021-01-29 10:35:21 3106 阅读 1点赞

Django 利用 django-guardian 实现对象级别权限控制以及展示

安装pipinstalldjangoguardian配置settings.py中注册djangoguardianINSTALLED_APPS=(...'guardian',)settings.py中添加配置用于djangoguardian身份权限验证AUTHENTICATION_BACKENDS=('django.contrib.auth.backends.ModelBackend',thisis

django

django-guardian

原创精选 11月前 807 阅读

Django 管理 OpenVPN 账户

由于公司办公网络不受我们管控，我们日常又需要远程拨入办公网络进行工作的需求，我们就选择了OpenVPN拨入公司网络的方案，为每位开发同事分发一个密钥文件，考虑后期维护的便捷性，计划改为OpenVPN+MySQL+PAM的验证方式，并利用Django开发一个页面来对VPN账户的日常维护，例如创建账户后自动发送邮件、删除账户、账户登录审计等OpenVPN+MySQL+PAM架构的搭建与配置，这里就不再

django

pam

原创精选 11月前 852 阅读

Daphne 部署 Django ASGI 的常见错误与解决方法

问题1django.core.exceptions.AppRegistryNotReady:Appsaren'tloadedyet.处理方法：修改asgi.py，增加django.setup()注意：django.setup()要置顶，不能在底部，否则使用daphne启动会报上面的错误。问题2django.core.exceptions.ImproperlyConfigured:Requested

django

daphne

原创 2022-11-25 21:11:05 1777 阅读

Kube-prometheus 监控 K8s 集群外服务的两种方式

本文档以Kubeprometheus监控K8s集群外服务器系统相关指标为例，其他服务大同小异方式一：通过ServiceMonitor方式创建Service和ServiceMonitor文件名为externalnode.yamlapiVersion:v1kind:Servicemetadata:name:externalnodeexporternamespace:monitoringlabels:a

prometheus

原创精选 2022-10-18 17:40:50 2449 阅读 2点赞 2收藏

CSS 学习笔记

本文CSS学习笔记整理的原内容来自：https://web.qianguyihao.com/CSS2.1中，颜色的表示方法有三种：单词、rgb表示法、十六进制表示法。RGB表示三原色Red红、Green绿、Blue蓝。R、G、B的取值范围是：0255；透明度的取值范围是01。CSS3中，有一种新的表示颜色的方式：RGBA或者HSLA。RGBA即：Red红、Green绿、Blue蓝、Alpha透明度

css

选择器

绝对定位

原创 2022-08-23 16:10:14 206 阅读 1评论

Logstash 本地调试日志笔记

rubydebug格式输出input{file{path="/data/log/test.log"读取本地日志目录start_position="beginning"每次重新启动从日志的开头读sincedb_path="/dev/null"该参数用来指定sincedb文件名，但是如果我们设置为/dev/null这个linux系统上特殊的空洞文件，那么logstash每次重启进程的时候，尝试读取si

logstash

rubydebug

原创 2022-06-13 21:56:43 4478 阅读

Python 将日志上传到远程 Rsyslog

配置Rsyslog1./etc/rsyslog.conf配置如下配置ModLoadimudpUDPServerRun514ModLoadimtcpInputTCPServerRun514templateremoteincominglogs,"/data/log/%YEAR%/%MONTH%/%DAY%/%programname%/%hour%".?remoteincominglogs2.重启rsy

logging

rsyslog

原创 2022-06-11 13:22:37 1163 阅读

Ubuntu SFTP 配置使用 Python 上传文件

SFTP配置1./etc/ssh/sshd_config添加如下配置Subsystemsftp/usr/lib/openssh/sftpserverSubsystemsftpinternalsftpMatchGroupsftpMatchUsersftpChrootDirectory/data/sftp/AllowTcpForwardingnoX11ForwardingnoForceCommandi

sftp

pysftp

原创 2022-06-03 16:23:33 379 阅读

Zabbix 通过自动发现的方式监控日志

使用的自动发现脚本!/usr/bin/python3coding:utf8此脚本文件用于获取需要监控的日志文件的绝对路径importosimportjsondefcollect_log(path):logfiles=direc_list=os.listdir(path)fordirecindirec_list:filepath=os.path.join(path,direc)ifos.path.i

zabbix

log

原创 2022-03-07 11:21:04 1102 阅读

访问指定 Web URL 自动执行命令的 Python 小脚本

fromflaskimportFlask,requestimportosapp=Flask(__name__)@app.route('/run')defrun_command():remote_ip=request.remote_addros.popen('此处为要执行的系统命令')return'ok!'if__name__'__main__':app.run(debug=False,host='

flask

python

原创 2021-12-28 11:08:52 1062 阅读

Python 爬取酷我音乐中指定歌手的全部音频

本博客内容仅用于Python学习与交流。本次用于学习测试的链接：http://www.kuwo.cn/singer_detail/6070625使用Chrome浏览器打开要测试爬取的链接，在Chrome的控制台找要爬取的链接，流程步骤截图分别如下：1.!页面1.png(https://s2.51cto.com/images/20211028/1635392011236308.png?xosspro

python

requests

原创精选 2021-11-01 11:20:15 2154 阅读 23点赞

使用 Python3 脚本给多个人同时发送多个 excel 附件

importsmtplibfromemail.utilsimportCOMMASPACE,formatdatefromemail.messageimportEmailMessagedefsend_mail(send_from,send_to,subject,content,files=,email_server="smtp.exmail.qq.com"):msg=EmailMessage()msg

smtplib

email

excel

原创 2021-10-09 16:47:26 944 阅读 12点赞 2收藏 1评论

Git 配置使用代理

当前Git主要与SSH、HTTP/HTTPS等协议来工作，经过一番了解，如果需要为Git配置代理，这几种协议的代理方式也是不同的。另外代理也是有2种协议，一种是HTTP/HTTPS，一种是SOCKS，这里仅记录Windows和Mac系统下使用SOCKS5代理。GitSSH协议配置使用代理Mac系统GitSSH配置方式1.1确认本地Socks5监听端口这里以Ss为例，点击『Ss』图标，然后点击『偏好

git

原创精选 2021-09-08 18:54:22 4001 阅读 1收藏

Elasticsearch 查询

termterm：查询的内容不会被分词。通常查询适合于date、num、id等确切的数据查询。{"query":{"term":{"remote":"118.101.141.15"}}}matchmatch：先对查询内容进行分词计算，然后逐个对分词后结果进行匹配查询。查询"/task/info",只要有task或info的都返回结果。{"query":{"match":{"path":"/task

elasticsearch

term

match

match_phrase

bool

原创 2021-08-31 11:58:10 457 阅读

使用 Python 脚本拷贝指定格式的文件

#-*-coding:utf-8-*-#python2.7importosimportsysimportshutilfile_list=[]#想要拷贝的文件格式，例如txtextended_format=sys.argv[1]#拷贝文件的源目录名称src_dir=sys.argv[2]#拷贝文件的目标目录名称dst_dir=sys.argv[3]ifos.path.exists(src_dir):

python

原创 2021-06-02 11:32:50 527 阅读

Bash 中 stderr 和 stdout 的输出与打印

在Bash中，如果想将标准输出和标准错误输出重定向到同一日志文件，同时只打印标准错误输出，可尝试以下方法：[root@ssgwo~]#cattest_std.sh#!/bin/bashLOG="/tmp/test.log"exec1>>$LOGexec2>>>(tee-a$LOG>&2)datedstatwho[root@ssgwo~]#[root@ss

bash

stderr

stdout

原创 2021-05-05 19:57:19 638 阅读

Linux 实用的命令小技巧

文件内容首尾颠倒来查看#cattest.txt|tac文件中每行内容左右颠倒查看#revtest.txt打印文件内容到屏幕的同时追加到指定文件中#pingbaidu.com|tee-a/tmp/output.txt使用find结合xargs统计过滤后的文件大小只过滤当前目录的第一层目录中，类型是文件并且修改时间是3天前的，统计其文件大小。#find.-maxdepth1-mtime+3-typef

shell

awk

sed

grep

原创 2021-04-28 11:41:20 553 阅读

CentOS 7 使用 systemd 自定义服务和参数

日常系统维护时，如果想把自己的脚本自定义成服务，并设置自定义的参数时，可使用如下方法，已在CentOS7.3中验证通过。首先要注意的是服务文件名称的格式，格式一定要是filename@.service这种格式。当自定义脚本test.sh参数是一个的时候，服务文件内容如下：[Unit]Description=wdroot[Service]Type=forkingExecStart=/usr/bin/

systemd

原创 2021-04-13 20:17:19 3478 阅读

MariaDB MaxScale 和 Galera Cluster 配置参考

简介MariaDBMaxScale是一个数据库代理，它扩展了MariaDBServer的高可用性，可伸缩性和安全性，同时通过将其与底层数据库基础架构分离来简化应用程序开发，采用可扩展的体系结构设计，支持插件，将其功能扩展到透明负载平衡之外，成为数据库防火墙。通过内置多个路由器，过滤器和协议的插件，MariaDBMaxScale可以配置为根据业务和技术要求转发数据库请求和修改数据库响应。例如，屏蔽敏

galera

mariadb

maxscale

原创精选 2021-03-27 10:36:28 3081 阅读

Linux 删除文件中空行的方法

在Linux上处理一些数据文件时，有时候需要将其中的空行过滤掉，系统中提供的各种工具都可以完成这个功能。将常用的介绍如下吧：使用grep命令#grep.data.txt#grep-v'^$'data.txt#grep'[^$]'data.txt使用sed命令#sed'/^$/d'data.txt#sed'/^\s*$/d'data.txt#这个命令还可将完全空格、tab等组成的空行删掉。使用awk

grep

sed

awk

tr

转载 2021-03-23 17:08:24 991 阅读

CentOS 7 加入 AD 域

前言企业中如果使用了Linux和Windows，想要统一管理,则可以将需要管理的Linux主机和Windows主机都加入WindowsActiveDirectory，即AD也就是我们常说的域。以下便是记录CentOS7加入AD域的操作，使用的是Realmd，它配置Linux系统服务（如sssd或winbind）来执行实际的网络身份验证和用户帐户查找。环境信息域：test.local域控：dc01.

ad

原创精选 2021-03-22 18:51:55 10000+阅读 3点赞 4收藏 2评论

Apache 工作的三种模式

模式查看Web服务器Apache目前一共有三种稳定的MPM（Multi-ProcessingModule，多进程处理模块）模式。它们分别是prefork、worker、event，它们同时也代表着Apache的演变和发展。如何查看我们的Apache的工作模式呢？可以使用httpd-V命令或apachectl-V命令查看。#apachectl-VServerversion:Apache/2.4.6(

httpd

apache

转载 2021-03-22 18:12:45 787 阅读

Linux I/O Scheduler (调度器)

Linux系统使用I/O调度算法，在各个竞争执行磁盘I/0的进程之间做仲裁。这个I/O调度器对请求的次序和时机做最优化处理，以求针对一个应用或者场合，取得尽可能最好的整体I/O性能。常用调度算法说明CFQ（CompletelyFairQueuing）这是2.6版的Linux内核的默认调度算法，对于通用服务器来说通常是比较好的选择。它试图均匀的分布对I/O带宽的访问。Deadline这个算法试图把每

io

cfq

原创精选 2021-03-13 11:15:15 1865 阅读 1收藏

记一次服务器负载过高的排查过程

事情起因公司内部的一台DNS服务器,运行在Xen的虚拟机上，仅仅运行了Bind服务，但经常有CPU负载过高的报警，同样配置的其他Bind服务器却没有这种情况。排查过程首先看了一下内存使用正常，swap基本没用，因为是阶段性的出现这个问题，使用top命令当时也没有看到服务器的负载有异常，但从loadaverage看到最近的15分钟负载确实有一点高。于是我使用dmesg命令看了一下最近时间段也没有异常

dmesg

strace

原创推荐 2021-03-12 11:47:31 3414 阅读

PostgreSQL 查看哪些语句执行时间过长

问题描述最近生产上的PostgreSQL发现有几个进程一直长时间运行，通过top命令能看到很多对应postgres进程都跑到接近100%，而且TIME+时间很长。最终找到了查看CPU执行时间过长是哪个语句。我这里当前使用的数据库版本是PostgreSQL9.6.6。查看占用CPU最多的几个PostgreSQL进程#psaux|greppostgres|sort-n-r-k3|head-10|awk

postgresql

原创精选 2021-03-03 10:24:46 6394 阅读 1收藏

Kubernetes 学习笔记之 Deployment 实践操作

简介Deployment为Pod和ReplicaSet（升级版的ReplicationController）提供声明式更新。你只需要在Deployment中描述您想要的目标状态是什么，Deploymentcontroller就会帮您将Pod和ReplicaSet的实际状态改变到您的目标状态。您可以定义一个全新的Deployment来创建ReplicaSet或者删除已有的Deployment并创建一

kubernetes

deployment

原创 2021-03-02 10:02:07 667 阅读

Kubernetes 学习笔记之 PV 与 PVC 的创建引用

简介PersistentVolume（PV）是K8S集群中由管理员配置的一段网络存储。它是集群中的资源，就像节点是集群资源一样。PV是容量插件，如Volumes，但其生命周期独立于使用PV的任何单个Pod。此API对象捕获存储实现的详细信息，包括NFS，iSCSI或特定于云提供程序的存储系统。PersistentVolumeClaim（PVC）是K8S中由用户进行存储的请求。它类似于Pod。Pod

kubectl

kubernetes

原创 2021-02-26 16:03:43 2038 阅读 15点赞 1收藏 2评论

Fluentd 的日志收集配置

前言先简单说明一下，当前生产中我们所有的服务都运行在docker里面，到目前为止还没有使用k8s来管理docker，日常的更新部署等主要还是使用ansible+jenkins结合来进行的，例如docker中服务的日志则是通过挂载到宿主机的目录当中，然后通过运行fluentd的docker也是通过挂载的方式读取宿主机所在的日志目录来进行收集。以下的配置说明示例使用的fluentd的1.9.1版本。环

fluentd

原创精选 2021-02-26 11:42:01 6137 阅读 1评论

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

开源基础软件社区	51CTO学堂
51CTO	软考资讯	汽车开发者社区

51CTO博客

liubin0505star