绝圣弃智-51CTO博客

绝圣弃智

91W+
人气
76
文章
0
关注
58
粉丝

推荐博客

关注私信

原创 68
翻译 0
转载 8
评论 260
点赞 217

分享：

全部

原创
中国工业企业数据库
0

&&&&&# -*- coding: utf-8 -* from xlwt import Workbook import requests from bs4 import BeautifulSoup import sys rel

自然如来发布于：2018-05-22

阅读 2401

评论 0

收藏 0
原创
天眼查
0

&&&&# -*- coding: utf-8 -* import xlrd import requests from bs4 import BeautifulSoup import sys reload(sys) sys.setdefaultencodi

自然如来发布于：2018-05-21

阅读 1231

评论 0

收藏 0
原创
房天下二手房经纪人电话信息
0

&&&&&&# -*- coding: utf-8 -* from bs4 import BeautifulSoup import requests from xlwt import Workbook import time imp

自然如来发布于：2018-05-18

阅读 711

评论 0

收藏 0
原创
期指汇
0

&&&&&# -*- coding: utf-8 -* import requests import time import sys import pymysql reload(sys) sys.setdefaultencoding('utf-8') def&

自然如来发布于：2018-05-15

阅读 623

评论 0

收藏 0
原创
豆瓣分析预测系统
0

&&&# -*- coding: utf-8 -* import requests import pandas as pd from bs4 import BeautifulSoup import time import sys import&n

自然如来发布于：2018-05-07

阅读 401

评论 0

收藏 0
原创
python 爬取百度贴吧数据存入execl
0

%%%%#coding:utf-8 import requests from xlwt import Workbook from bs4 import BeautifulSoup import time import sys reload(sys) sys.setdefau

自然如来发布于：2018-05-04

阅读 422

评论 0

收藏 0
原创
北京、天津工厂自动监测数据爬取
0

&&&&&# -*- coding: utf-8 -* from bs4 import BeautifulSoup import requests from xlwt import Workbook import time import&n

自然如来发布于：2018-05-03

阅读 468

评论 0

收藏 0
原创
新浪微博数据爬取
0

&&&&# -*- coding: utf-8 -* from bs4 import BeautifulSoup import requests from xlwt import Workbook import time import j

自然如来发布于：2018-04-25

阅读 563

评论 0

收藏 0
原创
json API通用爬取模块
0

&import requests def jsonRequest(url,postdata): """ 使用requests模块post方法请求api接口，返回json串 :param u

自然如来发布于：2018-04-23

阅读 951

评论 0

收藏 0
原创
python爬虫算一下demo大师网站的总创收
1

用python爬虫算一下demo大师网站的总创收。。。。。。#!/usr/bin/env python #coding:utf-8 import requests import json from bs4 import BeautifulSoup def demodashi(u

自然如来发布于：2018-03-26

阅读 4313

评论 0

收藏 0
原创
python实现明星专家系统荐
23

其实一直对电影里面的对×××进行人脸匹配然后，刷出来×××信息很感兴趣，今天晚上一时兴起，就搞了一把小的。理论上：你可以建立一个你感兴趣的百万级的数据库，给你个照片，你就可以得到她是谁，哪里的，信息都可以知道，而且因为人与人之间的网状的关联，你甚至可以知道她喜欢的人是谁，男朋友长啥样子。想信我：一切都不是虚构的，你能做的更多！思路：一、数据收集，可以采用爬虫对网上海里的明星信息进行有

自然如来发布于：2017-08-21

阅读 10000+

评论 17

收藏 10
原创
python 爬取新浪微博信息
4

新浪微博爬取的话需要设计到登录，这里我没有模拟登录，而是使用cookie进行爬取。获取cookie：代码：#-*-coding:utf8-*- from bs4 import BeautifulSoup import requests import time import os import sys

自然如来发布于：2017-08-08

阅读 2826

评论 2

收藏 2
原创
python利用socke模块实现端口扫描器
1

#coding=utf-8 ''' 端口扫描器 ''' import socket import threading import struct class scanner(object): def __init__(self,ip,port): &n

自然如来发布于：2017-08-07

阅读 956

评论 2

收藏 0
原创
python爬取证券之星网站
0

周末无聊，找点乐子。。。#coding:utf-8 import requests from bs4 import BeautifulSoup import random import time #抓取所需内容 user_agent = ["Mozilla/5.0 (Windows

自然如来发布于：2017-08-06

阅读 1307

评论 0

收藏 2
原创
django实现Linux运维管理平台荐
126

老早之前就想做一个运维管理平台的项目了，但是一直没沉下来去做，上半年的时候毕设选择了这个课题，想着逼自己一把，不管做出来的怎么样，先把它搞起来..... django的工作原理：文字说明：（1）Web服务器收到用户的http请求。（2） Django通过URL控制器来判断对应的视图(View)函数从而对http请求做处理。（3）视图函数调用相应的模型来存取数据、调用相应的模板

自然如来发布于：2017-08-05

阅读 10000+

评论 185

收藏 25

赞赏 1
原创
python 爬取淘宝模特信息
3

通过本篇博文，介绍一下我对指定信息进行爬取的时候的思路，顺便贴一下代码。一、首先获取想要爬取的网站的url链接的规则变化可以看出来该网站页面的url结构简单，变化的只是https://mm.taobao.com/json/request_top_list.htm?page= page的值二、对网站页面的DOM树的结构进行分析，方便我们获取我们想要的

自然如来发布于：2017-08-04

阅读 1785

评论 0

收藏 4
原创
python实现数据爬取-清洗-持久化存储-数据平台可视化荐
15

基于python对淘宝模特个人信息进行筛选爬取，数据清洗，持久化写入mysql数据库.使用django对数据库中的数据信息筛选并生成可视化报表进行分析。数据爬取，筛选，存库：# -*- coding:utf-8 -*- import requests from bs4 import BeautifulS

自然如来发布于：2017-08-04

阅读 10000+

评论 35

收藏 12
原创
nginx 配置域名转发和进行ip限制
3

需求：公司一台服务器上使用tomcat部署了多个网站服务，服务的端口都是6080，根据不同的域名加端口6080可以对相应的服务进行访问，领导新提了个需求，在服务器上部署个nginx 实现域名转发，服务器本身只放开80端口，我们只需要域名就可以进行访问各个网站服务，同时把ip限制放在nginx里面实现。不同的服务可以限制不同的端口。实现步骤：一、nginx 服务的安装。yum install ngi

自然如来发布于：2017-08-02

阅读 5686

评论 1

收藏 1
原创
python 爬取mm信息
0

# -*- coding:utf-8 -*- import requests from bs4 import BeautifulSoup import sys import re reload(sys) sys.setdefaultencoding('utf-8') for&

自然如来发布于：2017-07-04

阅读 571

评论 0

收藏 0
原创
keepalived 实现web应用的高可用荐
6

项目需求：公司需要我做privacyIDEA认证服务器的高可用，我的思路是在两台服务器上搭两套应用程序，后端存储公用一个mysql数据库，没有mysql数据库可以主备的形式，然后再做一下数据库的异地备份。基本思路就是这样的。我主要介绍一下使用keepalived实现高可用。本次实现使用两台机器master：10.236.44.62 ，slave：10.236.45.91一、安装需要的软件（mast

自然如来发布于：2017-06-20

阅读 3820

评论 2

收藏 2
原创
内存监控脚本
0

#!/bin/bashfile="/export/ucinfo/shell/memory.log"mem=`grep "used_memory:" $file | cut -d: -f2`maxmem=`grep "maxmemory:" $file | cut -d: -f2`number=`awk -v mem=$mem -v maxmem=$maxmem 'BEGIN{printf "%0.

自然如来发布于：2016-12-17

阅读 805

评论 0

收藏 0
原创
python 抓取网络热点内容
0

#!/usr/bin/env python #coding:utf-8 import requests,re from bs4 import BeautifulSoup import random def Fugitive(url): user_agent =&nbs

自然如来发布于：2016-10-12

阅读 636

评论 0

收藏 0
原创
python 爬取51cto首页
0

&本来相对51cto做一个整站爬取的，可是实在是对上面的信息没多大兴趣，还是对个人的信息比较敢兴趣#!/usr/bin/env python # coding=utf-8 """ 针对51cto首页进行爬取 """ import requests from bs4&

自然如来发布于：2016-10-06

阅读 1296

评论 0

收藏 0
原创
根据脚本名字干掉中断不了的脚本
0

有时候我们写个脚本，跑起来的时候ctrl+c中断不了，这个时候我们需要根据进程号，杀掉这个进程。#!bin/bash kill `ps xf |grep $1 |grep -v "grep" |awk '{print $1}'`

自然如来发布于：2016-10-03

阅读 351

评论 0

收藏 0
原创
企业级开源监控软件zabbix部署文档
1

环境：CentOS6.4Zabbix版本：2.4.3Iksemel版本：1.4iptables 关闭， setenforce 0 一、搭建LNMP环境：yum install mysql-devel gcc net-snmp-devel curl-devel perl-DBI php-gd php-mysql php-bcmath php-mbstring php-xml

自然如来发布于：2016-09-16

阅读 981

评论 0

收藏 0
原创
nagios日志粘合
0

nagios日志格式化时间戳脚本logformat.sh#!/bin/bash #对nagios日志时间进行格式转换 name=$1 perl -i -pe '($t) = ($_ =~ m/^\[(\d+)\]/); $nice=scalar localtime $t; s/^\[(\d

自然如来发布于：2016-08-20

阅读 535

评论 0

收藏 2
原创
python爬虫爬网站的视频和图片
2

环境：centos6.5 python2.6.6 http://www.budejie.com/（纯属测试，并无恶意）网站分析：我们点视频按钮可以看到url是：http://www.budejie.com/video/接着我们点开网页源码，看下面之处接着我们把那个下面画红线的链接点开，可以看到是个视频。下面我进行相似的操作点图片按钮，可以看到链接：http:

自然如来发布于：2016-08-14

阅读 4115

评论 1

收藏 5
原创
python 爬取内涵社区
0

#!/usr/bin/env python #coding:utf-8 import requests,io,time from bs4 import BeautifulSoup def neihanjoke(): headers = { &nb

自然如来发布于：2016-08-06

阅读 759

评论 0

收藏 0
原创
crontab
0

基本格式 : *　　*　　*　　*　　*　　command 分　时　日　月　周　命令第1列表示分钟1～59 每分钟用*或者 */1表示第2列表示小时1～23（0表示0点）第3列表示日期1～31 第4列表示月份1～12 第5列标识号星期0～6（0表示星期天）第6列要运行的命令 crontab文件的一些例

自然如来发布于：2016-08-01

阅读 276

评论 0

收藏 0
原创
shell 高级技巧！！！！！
0

***************************常用的shell命令汇总*********************************一、硬件篇1、cpu相关lscpu #查看CPU的统计信息cat /proc/cpuinfo

自然如来发布于：2016-07-30

阅读 677

评论 0

收藏 1

首页
上一页
1
2
3
下一页
共76条记录

自然如来

分享到朋友圈

这个家伙比较懒，还没有个人介绍

关注技术：运维开发算法数据挖掘机器学习 python 爬虫数据分析
入住博客：2014-09-17 6.5年

七日热门: Fluentd 的日志收集配置; 校园视频防安全解决方案; 查看docker镜像仓库中镜像版本信息; Everything can become good thing; 干货丨Orca 数据加载入门教程

最新文章: python实现数据爬取-清洗-持久化存储-数据平台可视化; 利用python实现网卡流量图表绘制！！！; python实现明星专家系统; python爬虫算一下demo大师网站的总创收; python 爬取百度贴吧数据存入execl

最新评论: 一步步的走入AI深渊

懒小米：最近忙什么呢，都没有新文章了啊; python实现明星专家系统

wx5ae81516096b1：大神; 机器学习实战精读--------决策树

seatosky：完整描述了决策的分类的方法要点等除了思路，也有实现的代码，提供了很全面的信息，大家可以跟踪快速掌握。; django实现Linux运维管理平台

wx5b17d5b62c1ee：求源码，学习学习 yanshp@163.com; python实现数据爬取-清洗-持久化存储-数据平台可视化

wx5823026544e95：博主，求源码，学习一下。861788632@qq.com

最近来访

写文章