LSFan的博客_python,自动化运维,集群,自动化运维,监控

简单安装ELK分析日志及使用心得

ELK是由Elasticsearch、Logstash、Kibana三个组件组成的。Elasticsearch：是ELK的核心插件，是一个基于Lucene的搜索服务器，它提供一个分布式多用户能力的全文搜索引擎，能够达到实时搜索，稳定，可靠，快速，安装方便。Elasticsearch服务会开启两个端口，9200和9300，其中9200是对外服务的，9300是对集群内交互使用的。Logstash：日志

ELK

原创 2018-06-10 14:36:42 10000+阅读

scrapy常用工具备忘

scrapy常用的命令分为全局和项目两种命令，全局命令就是不需要依靠scrapy项目，可以在全局环境下运行，而项目命令需要在scrapy项目里才能运行。一、全局命令##使用scrapy-h可以看到常用的全局命令[root@aliyun~]#scrapy-hScrapy1.5.0-noactiveprojectUsage:scrapy<command>[options][args]Ava

scrapy备忘

原创 2018-03-16 19:00:19 4221 阅读 1点赞 2评论

安装scrapy，以及出现的错误解决。

首先我是在python3的环境上面完成的。我保留了python2的版本，然后安装python3的版本。然后在安装scrapy的过程中出现的错误，以及切换python版本后出现的错误。一、安装python3cd/usr/local/src/wgethttps://www.python.org/ftp/python/3.4.2/Python-3.4.2.tgztar-xfPython-3.4.2.tg

scrapy

错误解决

原创 2018-03-13 18:00:31 4740 阅读 1点赞

saltstack常用模块及组件备忘

Saltstack分为主控端和被控端。主控端的salt服务启动：systemctlstartsalt-master，被控端的服务启动：systemctlstartsalt-minion1、Saltstack的防火墙配置主控端防火墙允许TCP4505和4506端口，被控端不需要配置。原理是被控端直接与主控端的zeromq建立长链接，接受广播到的任务信息并执行。iptables-IINPUT-msta

saltstack

常用模块

组件备忘

原创 2018-02-16 15:59:12 4107 阅读

用python写一个简单的excel表格获取当时的linux系统信息

最近在学习excel表格的制作，顺便结合之前学习的内容，利用python的两个模板，分别是获取系统信息的psutil，和生成excel表格的xlsxwriter。利用这两个模板将生成一个简单的excel表格，获取当时的linux系统信息，如内存状态，磁盘状态，网卡流量等。首先psutil和xlsxwriter都是要安装的。安装psutilwget--no-check-certificaehttps

系统信息

excel

表格

原创 2018-01-31 21:47:03 4670 阅读 1点赞 1收藏

利用python爬取糗事百科的用户及段子

最近正在学习python爬虫，爬虫可以做很多有趣的事，本文利用python爬虫来爬取糗事百科的用户以及段子，我们需要利用python获取糗事百科一个页面的用户以及段子，就需要匹配两次，然后将获取的内容格式化输出就可以了。这是我写的脚本：#coding:utf-8importurllib2importurllibimportreimportsysreload(sys)sys.setdefaulten

python

爬虫

原创 2018-01-28 15:58:06 1111 阅读

写一个简单的python脚本来返回ip地址的掩码，子网个数等

如果我们想快速得到一个IP地址段有多少个ip，快速得到IP地址段的子网掩码，或者快速得到一个IP地址的二进制，那么可以来学习一下。本文利用python的一个IP分析模块IPy实现，首先安装IPy模块wgethttps://pypi.python.org/packages/88/28/79162bfc351a3f1ab44d663ab3f03fb495806fdb592170990a1568ffbf

IPy

python

原创 2018-01-19 17:44:33 6744 阅读 1点赞

利用python爬取天气预报然后发送给微信好友

需要利用微信的api接口，itchat。然后来看一下代码：#!/usr/bin/python#-*-coding:utf-8-*-importitchatimportreimporturllib2importitchat#模拟浏览器hearders="User-Agent","Mozilla/5.0(WindowsNT10.0;WOW64)AppleWebKit/537.36(KHTML,like

itchat

爬虫

原创精选 2018-01-16 22:37:18 6367 阅读 6点赞 5收藏

在python获取网页的代码中添加头信息模拟浏览器

为什么要添加头部信息，因为有时候有些网页会有反爬虫的设置，导致无法获取正常的网页，在这里，在代码的头部添加一个headers信息，模拟成浏览器去访问网页。没有添加头部信息的代码importurllib2url="http://blog.51cto.com/lsfandlinux/2046467"file=urllib2.urlopen(url)html=file.read()printhtml接下

模拟

浏览器

原创 2018-01-14 19:26:57 10000+阅读 1收藏

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

运维小记