其实之前实现过这个功能，是使用selenium模拟浏览器页面点击来完成的，但是效率实际上相对来说较低。本次以解密参数来完成爬取的过程。首先打开煎蛋网http://jandan.net/ooxx，查看网页源代码。我们搜索其中一张图片的编号，比如3869006，看下在源代码中是否能找到图片链接 从上面的HTML结构中找到这个标号对应的一些属性，没有直接的图片链接地址，只有一个src=//im
转载
2023-06-16 05:32:46
102阅读
import urllib2import randomimport timeimport re#from lxml import etree #第三方模块def get_proxy(page):headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, lik
原创
2017-09-18 23:26:35
1933阅读
本程序还有待优化，我只爬取了每个页面的第一张图片，你们可以自己更新优化代码以实现全站爬取的功能。主要用到的命名空间有：using System;using System.Collections.Generic;using System.
原创
2022-02-15 11:04:47
992阅读
本程序还有待优化，我只爬取了每个页面的第一张图片，你们可以自己更新优化代码以实现全站爬取的功能。主要用到的命名空间有：using System;using System.Collections.Generic;using System.ComponentModel;using System.Data;using System.Drawing;using System.IO;usin...
原创
2021-09-03 09:56:12
4166阅读
# import os import requests from bs4 import BeautifulSoup r1 = requests.get( url='http://jandan.net/', # 浏览器的信息 headers={ 'user-agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleW...
原创
2022-08-22 17:00:21
63阅读
一、目的 ： 爬取晋江文学网总分榜二、python爬取数据 网址：http://www.jjwxc.net/topten.php?orderstr=7&t=0三、爬取 在开始多出现了38号而且顺序内容不准确 代码：import reque
转载
2023-07-06 22:02:51
219阅读
下载：
setuptools-0.6c11-py2.7.egg (md5) python的egg文件有点像java中的jar文件，是一个工程打包文件，便于安装部署，仅此一点，给多少pythoner带来了多少激动。而setup tools就是一个提供包管理的工具或者说是软件。 再次参考：Python egg 的安装 发现easy_install 方
转载
2023-06-27 09:57:50
280阅读
import urllib.request
import os
import os.path
import re
def dir(dir_name="p_w_picpaths"):
"""设定图片保存目录,基于当前程序运行目录"""
if o
原创
2017-05-22 10:59:24
1271阅读
一、API介绍 上一次介绍了如何使用urllib.request.urlopen()获取网页源码，那如何爬取网页上的视频与图片呢？就是本次要说的另一个接口：urllib.request.urlretrieve(url,filename),这个函数有两个主要的参数：
转载
2022-01-14 20:36:58
124阅读
多线程爬虫实践一、多线程的介绍及threading的基本使用1. 什么是多线程？2. 如何创建一个基本的多线程：二、使用Thread类创建多线程1. 查看当前线程2. 继承自threading.Thread类三、多线程共享全局变量的问题1. 问题2. 锁机制和threading.Lock类四、Lock版生产者和消费者模式1.生产者和消费者模式2.Lock版生产者和消费者模式3.Condition
转载
2023-06-08 08:35:29
187阅读
运行环境Python3.6.4一、爬取网页import urllib.request #导入模块
file = urllib.request.urlopen("http://www.baidu.com")#爬取百度首页，并赋值给变量file
data = file.read()#读取爬取到的网页的全部内容并赋值给data变量
dataline = file.readline()#读取爬取到的网页的
转载
2023-11-05 14:55:17
82阅读
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pyautogui
转载
2023-06-30 14:52:01
295阅读
首先，安装这个东西，我折腾了快半个月，说我菜也认，主要是没有个好的教程，以及有很多版本匹配问题，于是在安装好Tensorflow后，我也出个教程，这个教程只要跟着走，基本没有问题，最好是从头开始，不然一些乱七八糟的依赖报错，我也搞不定先简单写几个要注意的点tensorflow2.3.0版本要安装对应的python版本为3.5-3.7，而你在anaconda官网下的最新版带的python版本是3.8
转载
2023-08-14 14:19:56
429阅读
前面介绍了爬虫框架的一个实例，那个比较简单，这里在介绍一个实例 爬取 煎蛋网 妹子图，遗憾的是 上周煎蛋网还有妹子图了，但是这周妹子图变成了 随手拍， 不过没关系，我们爬图的目的是为了加强实战应用，管他什么图了先爬下来再说。 言归正传 这个实例，主要是讲将图片爬了下来，保存到本地，这个在上周已经实现
原创
2021-09-26 16:08:18
481阅读
安装 python wget http://python.org/ftp/python/2.7.2/Python-2.7.2.tgz tar jxvf Python-2.7.2.tar.bz2 cd Python-2.7.2 mkdir /usr/local/python27 ./configure --prefix=/usr/local/pyth
原创
2014-09-11 09:45:35
1061阅读
Ansible与Python 2.7
Ansible是一个功能强大的自动化工具，它使用Python编写，并且在执行过程中需要Python解释器的支持。在较早的版本中，Ansible主要使用Python 2.7作为默认解释器，这为用户提供了许多便利。本文将介绍Ansible与Python 2.7之间的关系，并讨论为什么Python 2.7在Ansible中如此重要。
作为一种自动化工具，Ansi
原创
2024-02-05 16:04:28
79阅读
Python2.7 list文章目录Python2.7 list脚本操作符截取函数&方法函数方法脚本操作符l1=[1,2,3]l2=[4,5,6]print len(l1)print l1+l2print ['Hi!']*4print 3 in l1for x in [1,2,3] :print x,输出3[1, 2, 3, 4, 5, 6]['Hi!', 'H...
原创
2021-05-20 07:13:33
965阅读
# 安装Python2.7
Python是一种简单易学、功能强大的编程语言，广泛应用于各种领域，如Web开发、数据分析、人工智能等。在安装Python之前，我们需要了解如何安装Python的不同版本。
Python有两个主要的版本：Python 2和Python 3。这两个版本并不完全兼容，因此在安装Python之前，你需要决定使用哪个版本。本文将介绍如何安装Python 2.7。
## 下
原创
2023-08-02 10:52:27
591阅读
## Python2.7 pexpect：自动化交互式命令行工具
### 简介
在计算机编程中，有时需要与命令行进行交互，例如执行一系列的命令、发送输入并获取输出等。Python语言提供了一个名为`pexpect`的模块，可以帮助我们实现自动化交互式命令行操作。`pexpect`是基于UNIX平台的`expect`工具的Python版本，它允许我们编写Python脚本来实现与命令行交互的自动化
原创
2023-08-13 09:18:42
203阅读
