自己写了百度贴吧的爬虫，分别用urllib+正则和requests+xpath两种方式，对比了执行效率
原创
2018-08-01 23:15:16
1541阅读
#coding:utf-8import requestsimport randomclass TiebaSpider: def __init__(self,tieba_name): self.headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) Ap
原创
2017-11-12 19:58:57
714阅读
最近，我们这边需要做一次防爬虫和机器蜘蛛的困扰，感觉困惑，有点无从入手，倒不如，直接用Python来写一个Spiner理解其各种原理，再下手也不迟啊，于是便立刻去写一个爬虫程序。使用方法：新建一个BugBaidu.py文件，然后将代码复制到里面后，双击运行。程序功能：将贴吧中楼主发布的内容打包txt存储到本地。好，不废话，直接上代码：#!/usr/bin/python
#-*-&nb
原创
精选
2016-06-24 13:20:08
1309阅读
点赞
被写文件坑了一晚上，因为自己写了writeFile(),但是调用的是WriteFile()刚好python里面有WriteFile()所以刚好不报错！！！！！
#_*_ coding: utf-8 _*_
'''
Created on 2018 7月12号
@author: sss
类型：get请求
功能：爬取百度贴吧的页面，可以分页
'''
from pip._vendor.distlib
转载
2018-07-12 20:45:00
237阅读
2评论
利用正则表达式、urllib.urlopen抓取百度贴吧图片。小小程序希望能帮助到大家。
原创
2017-02-22 09:17:54
692阅读
全栈工程师开发手册 （作者：栾鹏） python教程全解python爬虫案例——百度贴
原创
2017-10-31 16:07:42
144阅读
目录概述准备所需模块涉及知识点运行效果完成爬虫1. 分析网页2. 爬虫代码3. 完整爬虫4. 整理总结概述下载百度贴吧的网页。准备所需模块timeurllib.parseurllib.request涉及知识点python基础前端基础urllib模块基础运行效果控制台打印：电脑本地文件：打开其中之一的文件浏览：完成爬虫1. 分析网页打开百度贴吧搜索一个关键字，这里示例的是python，也可以是其他关
转载
2023-06-19 21:09:01
168阅读
原文链接：https://www.fkomm.cn/article/2018/7/22/21.html经过前期大量的学习与准备，我们重要要开始写第一个真正意义上的爬虫了。本次我们要爬取的网站是：百度贴吧，一个非常适合新人练手的地方，那么让我们开始吧。本次要爬的贴吧是<<西部世界>>，西部世界是我一直很喜欢的一部美剧，平时有空也会去看看吧友们都在聊些什么。所以这次选取这个吧来
转载
2018-12-17 20:18:14
629阅读
继续练手，做了个帖子爬虫，我默认设置为只保存楼主的图片。这样有很多好的图片或者漫画中间就不会被插楼的图片干扰了。代码在：https://github.com/qqxx6661/python/blob/master/baiduPic1.0.py下面贴代码，欢迎转载，请帖本页地址：# -*- coding: utf-8 -*-from __future__ import unicode_
原创
2021-06-16 19:48:55
386阅读
目录READMEjava 爬虫，采用webmagic框架。目的爬取百度贴吧的数据，并做一些统计与数据分析，非商业，纯属个人娱乐。近期工作项目有用到爬虫，便开始学习并写了个demo。采用的是webmagic爬虫框架，爬取的内容有：帖子，帖子回复，用户主页。项目为springboot 1.5.7版本，提供数据持久化，前端采用echart做数据分析图表展示。百度贴吧的数据只能爬取到99999页，即不超过
转载
2024-07-05 07:45:38
42阅读
都说在百度贴吧发广告贴很能给网站带流量，一直都没尝试过。一来要做的事情太多，分不出精力来；二来我自己从没去过贴吧，对它能带来多少流量有点将信将疑。但看着网站流量一直萎靡不振，这也是我能想到的最后一招了。终于，我决定出手了。
一比二购是比较购物性质的网站，咱总不能找超女吧下手吧，下场一定会很惨。搜索了一下，有个购物吧，人气
原创
2007-01-30 12:55:20
679阅读
3评论
# -*- coding: utf-8 -*- from bs4 import BeautifulSoup import re import os import urllib2 import urllib def download_img(urls,k): #urls = "http://tieba.baidu.com/p/4807867791" page = urllib2...
转载
2016-11-30 15:01:00
156阅读
2评论
百度贴吧爬虫小程序源码
转载
2023-05-31 13:20:12
128阅读
XPath提取内容//定位根节点/ 往下层寻找提取文本内容：/text()提取属性内容 : /@XXXX常规匹配#-*-coding:utf8-*-
from lxml import etree
html = '''
<!DOCTYPE html>
<html>
<head lang="en">
原创
2015-12-20 20:15:38
917阅读
很久以前，很喜欢泡贴吧一转眼过去好多年了......一个简单的学习爬虫的例子，爬百度贴吧帖子内容代码如下：# -*- coding:utf-8 -*-
#import urllib
import urllib2
import re
#功能性类，过滤掉html标签的类
class Tool:
 
原创
2016-04-29 17:58:13
1071阅读
最近在微信里看了一个小说叫《阴阳代理人》的，看到一半，发现断了，作者说把后面的部分放到了百度贴吧，去了贴吧发现，文章看起来比较费劲，乱糟糟的，所以为了我的小说，弄个了爬虫，去给我弄下来
原创
2016-03-07 15:31:32
797阅读
最近在微信里看了一个小说叫《阴阳代理人》的，看到一半，发现断了，作者说把后面的部分放到了百度贴吧，去了贴吧发现，文章看起来比较费劲，乱糟糟的，所以为了我的小说，弄个了爬虫，去给我弄下来
原创
2016-03-07 15:50:33
505阅读
整体功能：查看特定帖子楼主的发言（不包括图片） 前段时间大概看了python的语法，可是确实第一次用python来写东西。非常久之前就想学python。学爬虫了。如今最终開始了！谢了自己的第一个爬虫，非常开心O(∩_∩)O 认为学东西兴趣非常重要。爬虫真的好玩！ 整个功能的实现含有两个类，一个是工具
转载
2017-06-14 21:08:00
83阅读
2评论
用Python爬去百度贴吧图片并保存到本地。 说明01获取整个页面数据 Urllib 模块提供了读取web页面数据的接口，我们可以像读取本地文件一样读取www和ftp上的数据。首先，我们定义了一个getHtml()函数: urllib.urlopen()方法用于打开一个URL地址。 read()方法用于读取URL上的数据，向getHtml()函数传递一个网址，并把整个
原创
2024-05-24 14:57:09
53阅读
一、获取URL Urllib 模块提供了读取web页面数据的接口，我们可以像读取本地文件一样读取www和ftp上的数据。首先，我们定义了一个getHtml()函数: urllib.urlopen()方法用于打开一个URL地址。 read()方法用于读取URL上的数据，向getHtml()函数传...
转载
2015-09-24 16:36:00
133阅读
2评论
