&&&&&# -*- coding: utf-8 -* from xlwt import Workbook import requests from bs4 import BeautifulSoup import sys rel
&&&&# -*- coding: utf-8 -* import xlrd import requests from bs4 import BeautifulSoup import sys reload(sys) sys.setdefaultencodi
&&&&&# -*- coding: utf-8 -* import requests import time import sys import pymysql reload(sys) sys.setdefaultencoding('utf-8') def&
&&&# -*- coding: utf-8 -* import requests import pandas as pd from bs4 import BeautifulSoup import time import sys import&n
%%%%#coding:utf-8 import requests from xlwt import Workbook from bs4 import BeautifulSoup import time import sys reload(sys) sys.setdefau
&&&&&# -*- coding: utf-8 -* from bs4 import BeautifulSoup import requests from xlwt import Workbook import time import&n
&&&&# -*- coding: utf-8 -* from bs4 import BeautifulSoup import requests from xlwt import Workbook import time import j
&import requests def jsonRequest(url,postdata): """ 使用requests模块post方法请求api接口，返回json串 :param u
用python爬虫算一下demo大师网站的总创收。。。。。。#!/usr/bin/env python #coding:utf-8 import requests import json from bs4 import BeautifulSoup def demodashi(u
上海里的明星信息进行有
新浪微博爬取的话需要设计到登录，这里我没有模拟登录，而是使用cookie进行爬取。获取cookie：代码：#-*-coding:utf8-*- from bs4 import BeautifulSoup import requests import time import os import sys
#coding=utf-8 ''' 端口扫描器 ''' import socket import threading import struct class scanner(object): def __init__(self,ip,port): &n
周末无聊，找点乐子。。。#coding:utf-8 import requests from bs4 import BeautifulSoup import random import time #抓取所需内容 user_agent = ["Mozilla/5.0 (Windows
老早之前就想做一个运维管理平台的项目了，但是一直没沉下来去做，上半年的时候毕设选择了这个课题，想着逼自己一把，不管做出来的怎么样，先把它搞起来..... django的工作原理：文字说明：（1）Web服务器收到用户的http请求。（2） Django通过URL控制器来判断对应的视图(View)函数从而对http请求做处理。（3）视图函数调用相应的模型来存取数据、调用相应的模板
通过本篇博文，介绍一下我对指定信息进行爬取的时候的思路，顺便贴一下代码。 一、首先获取想要爬取的网站的url链接的规则变化可以看出来该网站页面的url结构简单，变化的只是https://mm.taobao.com/json/request_top_list.htm?page= page的值 二、对网站页面的DOM树的结构进行分析，方便我们获取我们想要的
基于python对淘宝模特个人信息进行筛选爬取，数据清洗，持久化写入mysql数据库.使用django对数据库中的数据信息筛选并生成可视化报表进行分析。数据爬取，筛选，存库：# -*- coding:utf-8 -*- import requests from bs4 import BeautifulS
需求：公司一台服务器上使用tomcat部署了多个网站服务，服务的端口都是6080，根据不同的域名加端口6080可以对相应的服务进行访问，领导新提了个需求，在服务器上部署个nginx 实现域名转发，服务器本身只放开80端口，我们只需要域名就可以进行访问各个网站服务，同时把ip限制放在nginx里面实现。不同的服务可以限制不同的端口。实现步骤：一、nginx 服务的安装。yum install ngi
# -*- coding:utf-8 -*- import requests from bs4 import BeautifulSoup import sys import re reload(sys) sys.setdefaultencoding('utf-8') for&
项目需求：公司需要我做privacyIDEA认证服务器的高可用，我的思路是在两台服务器上搭两套应用程序，后端存储公用一个mysql数据库，没有mysql数据库可以主备的形式，然后再做一下数据库的异地备份。基本思路就是这样的。我主要介绍一下使用keepalived实现高可用。本次实现使用两台机器master：10.236.44.62 ，slave：10.236.45.91一、安装需要的软件（mast
#!/bin/bashfile="/export/ucinfo/shell/memory.log"mem=`grep "used_memory:" $file | cut -d: -f2`maxmem=`grep "maxmemory:" $file | cut -d: -f2`number=`awk -v mem=$mem -v maxmem=$maxmem 'BEGIN{printf "%0.
#!/usr/bin/env python #coding:utf-8 import requests,re from bs4 import BeautifulSoup import random def Fugitive(url): user_agent =&nbs
&本来相对51cto做一个整站爬取的，可是实在是对上面的信息没多大兴趣，还是对个人的信息比较敢兴趣#!/usr/bin/env python # coding=utf-8 """ 针对51cto首页进行爬取 """ import requests from bs4&
有时候我们写个脚本，跑起来的时候ctrl+c中断不了，这个时候我们需要根据进程号，杀掉这个进程。#!bin/bash kill `ps xf |grep $1 |grep -v "grep" |awk '{print $1}'`
环境：CentOS6.4Zabbix版本：2.4.3Iksemel版本：1.4iptables 关闭， setenforce 0 一、搭建LNMP环境：yum install mysql-devel gcc net-snmp-devel curl-devel perl-DBI php-gd php-mysql php-bcmath php-mbstring php-xml
nagios日志格式化时间戳脚本logformat.sh#!/bin/bash #对nagios日志时间进行格式转换 name=$1 perl -i -pe '($t) = ($_ =~ m/^\[(\d+)\]/); $nice=scalar localtime $t; s/^\[(\d
环境：centos6.5 python2.6.6 http://www.budejie.com/（ 纯属测试，并无恶意 ）网站分析：我们点视频按钮 可以看到url是：http://www.budejie.com/video/接着我们点开网页源码，看下面之处接着我们把那个下面画红线的链接点开，可以看到是个视频。下面我进行相似的操作点图片按钮，可以看到链接：http:
#!/usr/bin/env python #coding:utf-8 import requests,io,time from bs4 import BeautifulSoup def neihanjoke(): headers = { &nb
基本格式 : * * * * * command 分 时 日 月 周 命令 第1列表示分钟1～59 每分钟用*或者 */1表示 第2列表示小时1～23（0表示0点） 第3列表示日期1～31 第4列表示月份1～12 第5列标识号星期0～6（0表示星期天） 第6列要运行的命令 crontab文件的一些例
***************************常用的shell命令汇总*********************************一、硬件篇1、cpu相关lscpu #查看CPU的统计信息cat /proc/cpuinfo
&#!/usr/bin/env python # -*- coding: utf-8 -*- import requests from bs4 import BeautifulSoup import time import random #设置代理IP proxyiplist&
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号
