#!/usr/bin/env python#-*- coding: utf-8 -*-
importrequestsfrom pyquery importPyQuery as pq
url= 'http://www.136book.com/huaqiangu/'headers={'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_
转载
2024-07-30 16:33:41
53阅读
大数据的核心是从数据中获取价值数据分类数据按照数据形态可以分为：1. 结构化数据---结构固定，计算机程序可以直接处理2. 非机构化数据-----类似由文本数据、图像数据、自然语言数据等计算机无法直接处理，要先对数据进行格式转换或者信息处理网络爬虫网络爬虫是搜索引擎抓取系统的重要组成部分，主要目的是将互联网上的网页下载到本地，形成一个或联网内容的镜像备份ScrapyScrapy是一个为了爬取网站数
由于爬虫爬取的数据是为搜索引擎服务的。而搜索引擎是为互联网的数据做整合分类以便用户进行检索查看的。因此需要能感知互联网的数据的变化。即对于爬虫已经爬取的数据还需要定期去重新抓取，以检测页面是否变化。 页面的变化我们将其划分为两类： 一： 页面仍存在，但是页面的内容改变了。我们称之为内容更新
我因为做视频的需要所以想下一些漫画的图片，但是大家都知道想搞一堆jpg格式的漫画图片在正规渠道继续不太可能。所以我们就选择使用python爬取 本来我是想那某个B开头的网站开刀，但是很遗憾，他们的漫画每一页都是动态网页刷新图片，并且，从网络流翻出的图片的源文件的地址，会发现他们都被加密了（个人感觉是32位MD5加密），我们完全没办法破解并找到其中的规律。链接实例：blob:https://mang
转载
2024-02-02 17:51:42
54阅读
# -*- coding: UTF-8 -*- import requests,re,time url = 'https://www.zabbix.com/documentation/3.4/zh/manual' base_url = 'https://www.zabbix.com/documentation/3.4/' seconds = 1 err_url = [] def get_urls...
原创
2019-06-19 14:20:00
97阅读
python爬虫抓取zabbix监控图
原创
2017-10-20 10:18:53
2359阅读
对比官文，总结下zabbix的各个方面
原创
2015-09-08 18:36:09
2100阅读
一、Zabbix安装所需环境介绍1、硬件2、软件数据库：zabbix产生的数据主要由四部分组成：配置数据历史数据：50Bytes 历史趋势数据: 128Bytes事件数据: 130Bytes这里数据的大小是指每次采集的数据的大小 可见zabbix对服务器的硬件配置要求有多低，现在的服务器一般都比上面最高配还来得高，我所知道的100来台服务器，做基本
原创
2016-02-24 16:40:40
1887阅读
这里写自定义目录标题 安装环境说明：此次安装环境，系统为centos7，zabbix版本为5.0，centos7最高支持的zabbix为5.0版本，如欲安装更高版本的zabbix，需centos8或者centos9。一、安装相关的软件包安装前最好更新一下系统软件
yum -y update1.1 安装httpd和phpyum install -y httpd php1.2 安装php扩展yum
转载
2024-04-01 07:17:03
167阅读
Zabbix是一个企业级的、开源的、分布式监控解决方案。Zabbix可以监控网络和服务的监控状况.Zabbix利用灵活的告警机制，允许用户对事件发送基于Email的告警. 这样可以保证快速的对问题作出相应.Zabbix是零成本的. 因为Zabbix编写和发布基于GPL V2协议. 意味着源代码是免费发布的.一、Linux下开源监控系统简单介绍 1）cacti：存储数据能力强，报警性能差2
转载
2024-04-22 21:07:23
94阅读
根据使用场景，网络爬虫可分为 通用爬虫 和 聚焦爬虫 两种。1. 通用爬虫通用网络爬虫 是 捜索引擎抓取系统（Baidu、Google、Yahoo等）的重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。通用网络爬虫 从互联网中搜集网页，采集信息，这些网页信息用于为搜索引擎建立索引从而提供支持，它决定着整个引擎系统的内容是否丰富，信息是否即时，因此其性能的优劣直...
原创
2021-07-07 09:34:36
556阅读
点赞
引擎建立索引从而提供支持，它决定着整个引擎系统的内容是否丰富，信息是否即时，因此其性能的优劣直...
原创
2022-03-23 16:38:24
515阅读
python并发爬虫——多线程、线程池实现 目录python并发爬虫——多线程、线程池实现一、常规网络爬虫1. 执行顺序2. 缺点二、并发爬虫1. 原理2. 优点3. 应用3.1 多线程1）常规调用2）自定义线程3）PCS模式3.2 线程池1）一次性提交2）分步提交3）分步提交加强版四、结语 一个网络爬虫通常由发送请求、获取响应、解析页面、本地保存等这几部分组成。其中最难，细节最多的当然是页面解
转载
2023-08-04 19:23:47
290阅读
一、监控系统基础概念1、监控系统的工作内容 数据采集 --> 数据存储 --> 数据展示 --> 报警 传感器 时间序列数据 趋势图 采集到的数据超出阈（yu）值2、网络监控系统NMS：Network Monitor System &n
原创
2016-01-22 17:49:55
2835阅读
点赞
服务器通过snmptrap主动上报告警,在zabbix配置snmptrap监控也是很简单的。1.登录被监控的设备的bmc管理系统配置snmptrap地址指向我们的zabbix服务器或代理服务器。设置团体名（下面发ilo为例的，也可以登录bmc管理界面设置）： 设置告警接收地址: 2.zabbix 服务器，在源码目录中复制Perl的脚本并赋予执行权限cp `
原创
2018-11-22 12:13:54
999阅读
点赞
本次安装教程完全参考官方rpm安装教程： https://www.zabbix.com/documentation/3.4/zh/manual/installation/install_from_packages 环境准备： 安装过程： 进入首页，开始使用，管理员账户admin，密码zabbix
原创
2021-08-04 16:29:00
1268阅读
zabbix监控组件详解一、zabbix的简介想必大家对zabbix监控都有耳闻，zabbix是一个基于web界面的分布式系统监控以及网络监视功能的开源的解决方案。zabbix通过B/S架构展示监控画面，通过C/S架构进行数据的收集工作。红色代表异常，绿色代表正常，此外还可以通过web的UI界面点击查看图表信息。zabbix的强大之处还要得益于其非常优秀的分布式系统，通过多个子监控，监视各个节点的
转载
2024-03-01 10:41:06
167阅读
今年的维护合同中，客户明确要加入zabbix监控。开始交给两名实习生去搞定，一个月没有成果。只好自己去搞。起初是在虚拟中安装的。rhel5.4+本地yum源，借鉴了不少网上的资料。下面开始介绍安装与使用步骤:一.服务端环境准备A.基本环境（1）.下载最新的Zabbix安装包(官网:http://www.zabbix.com)到本地。我下载的最新版本1.8.7.放到了/tools(自己新建的) 目录
转载
2024-04-08 13:42:33
87阅读
一、Zabbix是什么zabbix（音同 zæbix）是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。zabbix能监视各种网络参数，保证服务器系统的安全运营；并提供灵活的通知机制以让系统管理员快速定位/解决存在的各种问题。zabbix由2部分构成，zabbix server与可选组件zabbix agent。zabbix server可以通过SNMP，zabbix
转载
2024-04-18 21:29:06
89阅读
nginx安装1）源码编译安装yum install -y pcre* openssl* gcc gcc-c++ automake zlib*
./configure --user=nginx --group=nginx --prefix=/usr/local/nginx \
原创
2017-09-18 16:53:33
2517阅读
点赞
