Meteor_hy的博客_NOSQL-MySQL,BigData,Data security

scrapy (2)下载图片及存储信息

scrapy pipeline

原创 2017-11-24 14:25:35 1637 阅读

初识scrapy

scrapy由下面几个部分组成 spiders：爬虫模块，负责配置需要爬取的数据和爬取规则，以及解析结构化数据 items：定义我们需要的结构化数据，使用相当于dict pipelines：管道模块，处理spider模块分析好的结构化数据，如保存入库等 middlewares：中间件

scrapy

原创 2017-11-15 20:58:02 1194 阅读 1收藏

XML与HTML的分析处理

一、python处理XMLXML 指可扩展标记语言（eXtensible Markup Language）。XML 被设计用来传输和存储数据。XML是一套定义语义标记的规则，这些标记将文档分成许多部件并对这些部件加以标识。它也是元标记语言，即定义了用于定义其他与特定领域有关的、语义的、结构化的标记语言的句法语言。Python对XML的解析:常见的XML编程接口有DOM和SAX，这两种接口处理XML

SAX DOM HTMLParser

原创 2017-11-15 14:17:18 812 阅读

Requests 与 BeautifulSoup 模块

一、Requests库参考：http://www.python-requests.org/en/master/user/quickstart/#make-a-requestRequests是一个很实用的Python HTTP客户端库，编写爬虫和测试服务器响应数据时经常会用到。Requests 完全满足如今网络的需求安装方式一般采用 pip install requestsIn

BeautifulSoup

Requests

原创 2017-11-14 15:55:07 1539 阅读

selenium应用

Selenium 学习参考：http://selenium-python.readthedocs.io 自动化测试工具。它支持各种浏览器，包括 Chrome，Safari，Firefox 等主流界面式浏览器，如果在这些浏览器里面安装一个 Selenium 的插件，那么便可以方便地实现Web界面的测试。PhantomJS也是一个浏览器

selenium

爬虫

原创 2017-11-13 20:20:17 1441 阅读

MultiProcess-MultiThread

听到一些关于python多进程与多线的例子，感觉比较经典，把一些例子分享一下.内容如下： Process、Thread、GIL、Process fork、Multiprocessing、Queue、ProcessPool、Multiprocess-Multithread comparison(1) Process : 程序的一次执行(程序编写完毕后代码装载入内存,系统分配

python

multiprocess

原创 2017-09-18 11:24:34 1157 阅读

nginx open files limits 导致大量错误信息

nginx error.log 中出现大量如下错误信息：[root@zayhu01-fk nginx]# grep -aP '^20.* \[crit\]' error.log2017/03/14 12:06:31 [crit] 3549#0: accept4() failed (24: Too many open files)[root@zayhu01-fk ngin

nginx open file limi

原创 2017-03-14 23:08:27 5999 阅读 1收藏 2评论

nginx geoip 错误处理

nginx -t 时出现如下错误nginx: [emerg] unknown directive "geoip_country" in /etc/nginx/nginx.conf:23说明配置文件中调用了geoip相关模块，所以首先保证: nginx-mod-http-geoip 或 nginx-module-geoip 的相关包已经安装完毕；然后在/etc/nginx.con

nginx geoip

原创 2017-03-14 22:48:10 10000+阅读 1点赞 1收藏

mongodb replication 维护总结

副本集成员最多12个成员，其中只有7个成员拥有投票权。这是为了减少心跳请求的网络流量和选举话费的时间。心跳每2秒发送一次。一、新增副本集成员1、登录primary2、use admin >rs.add("new_node:port") 或 rs.add({"_id":4,"host":"new_node:port","priority":1,"hidden":false}) 3、

replication

mongodb

原创 2017-03-13 19:40:22 10000+阅读 1收藏

L2tp 虚拟专有网络 (预共享密钥)

本环境为AWS EC2 instance Amazon Linux ：1、安装所需软件yum install make gcc gmp-devel bison flex lsof wget libpcap-devel ppp policycoreutils2、下载、安装、配置o

L2tp

虚拟专用网

原创 2017-02-09 20:33:08 10000+阅读 1收藏 1评论

python argparse模块

python argparse 模块的功能是对命令行进行解析，检查命令行是否符合预定义的格式。使用方法： 1、导入argparse模块 import argparse 2、创建argparse对象 parser = argparse.ArgumentParser() 3、添加命令行相关参数、选

Python

argparse

原创 2017-02-09 16:44:30 960 阅读

redis cluster (3) 配置说明

一、redis 持久化说明1) 手工持久化 SAVE(同步回写)和 BGSAVE(异步回写) 两个命令都会调用 rdbSave 函数，它们都实现RDB持久化，但它们调用的方式各有不同： SAVE 直接调用 rdbSave ，阻塞 Redis 主进程，直到保存完成为止。在主进程阻塞期间，服务器不能处理客户端的任何请求。 BGSAVE 则 fork

redis

clsuter

配置说明

原创 2017-01-18 16:37:15 3471 阅读

redis cluster (2) 相关命令参考及慢查询

实例关闭命令redid-cli shutdown 说明：关闭时强制 bgsave 所以需要一些时间注：在start时，需要先加载数据到内存，数据加载完毕之后 redis 才会listen 端口集群相关命令1、CLUSTER INFO 打印集群的信息

利用s3fs 将 s3 bucket 挂载到Linux目录

S3fs是基于FUSE的文件系统，允许Linux和Mac Os X挂载S3的存储桶在本地文件系统，S3fs能够保持对象原来的格式。关于s3fs-fuse的功能、使用方法、下载可参考：https://github.com/s3fs-fuse/s3fs-fuse1、本文主要介绍将s3的bucket挂载到Linux的目录上，当做本地磁盘使用。所以首先要创建s3的bucket，例：2、将s3 bucket

s3fs

本地目录

原创 2017-01-18 13:52:46 10000+阅读 1点赞 4评论

Receive queue 和 Send queue 理解说明

1、关于netstat -anq 的 Recv-Q与Send-Q说明[root@zayhu01-mb ~]# netstat -anp | headActive Internet connections (servers and established)Proto Recv-Q Send-Q Local Address

sctp

Recv

协议参数

原创 2017-01-06 14:33:34 3262 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

WorkNote