-
所谓爬虫（crawler），是指一只小虫子，在网络中爬行，见到有用的东西就会把它拿下来，是我们获取信息的一个重要途径。平常使用的浏览器，它的背后就是一个巨大的爬虫框架，输入我们想要查找的信息，帮我们爬取下来...
查看全文
阅读
124
评论 0
-
内容选自韦玮著《精通 Python 网络爬虫——核心技术、框架与项目实战》P80
import requests
import re
def getContent(url, page):
# 模拟成浏览器
headers = {"User-Agent":
...
查看全文
阅读
26
评论 0
-
一、题目要求：爬取糗事百科上的视频并下载到本地磁盘
二、代码
1、使用正则表达式清洗数据
import requests
import re
headers = headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) Apple...
查看全文
阅读
41
评论 0
-
学完python正则表达，最主要参考了CQC的博客：http://cuiqingcai.com/990.html。功能：把段子的作者、发表时间、点赞数、内容和配图都给匹配了出来。附加跳转到前一页，后一页，某一页，退出功能。修改后代码如下（2...
查看全文
阅读
1353
评论 0
-
1前言学了一段时间Python了，总结了相关的基础知识，所以想实践一下，看看成果如何。 如下图所示，实现了一个糗事百科网页爬虫 可以下载该[Demo APK](https://raw.githubusercontent.com/zxlworking/MyApplication_i...
查看全文
阅读
240
评论 0
-
该爬虫主要实现的功能是抓取糗事百科里面的一些段子。 urllib2可以用urllib2.openurl中设置Request参数，来修改Header头。如果你访问一个网站，想更改User Agent（...
查看全文
阅读
1357
评论 1
-
本人比较喜欢段子，平时也经常上糗百。所以这次作业也想尝试一下爬取糗百的内容。
网站链接：https://www.qiushibaike.com/
网站截图
主要想爬取的数据有段子内容、用户、投票数、评论数、热门评论等等...
查看全文
阅读
47
评论 0
-
爬取糗事百科段子，假设页面的URL是 http://www.qiushibaike.com/8hr/page/1
要求：
使用requests获取页面信息，用XPath / re 做数据提取
获取每个帖子里的用户头像链接、用户姓名、段子...
查看全文
阅读
11
评论 0
-
最近看了一些利用python来写一些网站的爬虫以自动下载和排版的文章，于是自己动手也写一个，网络上很多的版本都无法正常运行，因为糗事百科现在不能直接使用url去使用爬虫了，必须要伪装成浏览器来下...
查看全文
阅读
387
评论 0
-
```
import requests
from lxml import etree
import time
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.92 Safari/537.36',
...
查看全文
阅读
3943
评论 0
-
在这里，你将会学习到解析JSON数据，网络请求功能，动态调整cell内容等功能！！！
最终的结果 是这样的，项目相对简单，很适合入门！下面让我们一起开始教程之旅吧！
1、先看下项目工程结构：
第一...
查看全文
阅读
0
评论 0
-
代码：
# -*- coding: utf-8 -*-
'''
import urllib.request
import re
import ssl
import urllib.error
headers = ("User-Agent","Mozilla/5.0(Windows NT 6.1;WOW64) AppleWebKit/537.36(K...
查看全文
阅读
23
评论 0
-
提取某一页所有段子# -*- coding:utf-8 -*-
import urllib
import urllib2
import re
page = 1
url = 'http://www.qiushibaike.com/hot/page/' + str...
查看全文
阅读
1129
评论 0
-
默认情况下取糗事百科热门文章只有35页，每页20条，根据下面代码可以一次性输出所有的文章，也可以选择一次输出一条信息，回车继续。不支持图片内容的显示，显示内容包括作者，热度（觉得好笑的人越多，热度...
查看全文
阅读
1766
评论 0
-
大家好，我是不温卜火，是一名计算机学院大数据专业大三的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自...
查看全文
阅读
33
评论 0
-
import requests
from lxml import etree
import json
import threading
import queue
# 采集html类
class GetHtml(threading.Thread):
def __init__(self, page_queue):
threading.Thread.__init__...
查看全文
阅读
19
评论 0
-
[Python] 糗事百科文本数据的抓取
源码
https://github.com/YouXianMing/QiuShiBaiKeText
import sqlite3
import time
import requests
from regexp_string import *
class QiuShiBaiKeText35:
db_name...
查看全文
阅读
17
评论 2
-
1.知识要求
2.1 Python基础知识（List和Tuple）
2.2 urllib模块、超时设置、自动模拟http请求之get方法和post方法
2.3 异常处理与浏览器伪装技术实战
2.爬取糗事百科段子实战
目的：爬取前糗事百科前20页...
查看全文
阅读
17
评论 0
-
糗事百科邀请码
1.KFIS VC1L FCP8 AK71
2. XL6N V5KU 6MTI MTIN
希望拿走的人留下点什么，谢谢
查看全文
阅读
654
评论 5
