背景介绍这个学期上了Python课，最后的结课方式是大作业的形式。考虑到现在大部分小伙伴使用Python主要因为爬虫，那么为了更好地帮助大家巩固爬虫知识，加深对爬虫的理解，我们小组选择了爬取百度文库作为我们的大作业。现在将我们的大作业分享出来，希望能够帮助到大家。概要TXT,DOCX爬取与保存（文本格式）PPT,PDF爬取与保存（图片格式）简单的GUI制作通过本文你将收获基本的爬虫技能DOCX,I
转载
2023-10-13 15:54:01
124阅读
寻找并分析百度云的转存api首先你得有一个百度云盘的账号，然后登录，用浏览器（这里用火狐浏览器做示范）打开一个分享链接。F12打开控制台进行抓包。手动进行转存操作：全选文件->保存到网盘->选择路径->确定。点击【确定】前建议先清空一下抓包记录，这样可以精确定位到转存的api，这就是我们中学时学到的【控制变量法】2333。可以看到上图中抓到了一个带有 “transfer” 单词的
转载
2023-08-09 17:31:02
180阅读
文中的文章用于做笔记用，来源于网络，并非本人所写# -*- codin
转载
2023-01-17 08:33:07
131阅读
随着大数据的普及，掌握爬虫技术对我们显得越发重要，有很多人对爬虫充满疑惑，因此我整理了我学习爬虫时的路径以及资源，资料我都给你安排好，你只管学就好了，话不多说，直接切入正题，以下是我推荐的学习爬虫的线路图（附加教学视频）学习python，掌握python的基础语法。链接：https://pan.baidu.com/s/1ch1vz35uQPrM7uDqLkOpfA 提取码：k16r主要有pytho
转载
2024-03-12 23:16:59
69阅读
import urllib.requestimport urllib.parseimport jsonimport pandas as pdimport timecontent=0while True: #df = [] file = r'..\data\pos.xls' xlsx = pd.ExcelFile(file) f
原创
2022-03-20 16:08:26
104阅读
import urllib.requestimport urllib.parseimport jsonimport pandas as pdimport time
content=0while True: #df = [] file = r'..\data\pos.xls' xlsx = pd.ExcelFile(file)
fin = pd.read_excel(x
原创
2021-05-07 16:31:47
393阅读
网络爬虫：又被称为网页蜘蛛，网络机器人，是一种按照一定规则自动抓取网上信息的程序或脚本。有啥作用：通过该技术可快速高效的在互联网上获取自己想要的大数据，是大数据分析的基础。基础知识：想要用爬虫技术到网上爬取自己想要的数据，需要大概的了解一下W3C标准（HTML、JSON、XPath等）与HTTP协议标准（HTTP请求过程、请求方式、Cookie状态管理等）。百度地图API百度地图API：百度地图大
原创
2020-12-30 21:04:51
1629阅读
免费资源猫-爱分享的猫。最近小编在弄python爬虫项目，可能大家一听爬虫，就觉得高大上，其实爬虫并没有多难，只要你稍微研究一下，掌握了基础的东西，后续爬虫就是重复利用的事情了。今天给大家来一下普及，希望你都能掌握 01搭建环境既然是python爬虫，自然先要安装好python环境，从事技术的人都知道开发IDE,其实小编其实有不是必须的，只要是文本编辑器都可以，当然对于小白还是建议安装I
转载
2024-01-16 19:57:13
53阅读
破解百度翻译首先进入百度翻译网站：百度翻译 按下F12，打开开发者工具，并选中网络，找到XHR，此时在百度翻译中输入信息（例如输入“dog”），可以查看请求，并且可以找到请求参数：“dog”，此时可以根据请求参数爬取任何信息了。import requests import json#开发者工具查看消息头的post请求import requests
import json
#开发者工具查看消息头的
转载
2023-10-13 22:04:30
6阅读
目标，完成百度翻译的爬虫输 入英文，可以得到中文的翻译内容第 一 步，寻找接口要找 到一个可以给我满意结果的网址1，进入目标网站开启调试模式关掉干拢的一些信息2 发 起一 个请求，激发一些接口的调用在xhr中接口出 现的 机会更 大一些3 在众多接 口中寻找可能的一个通过比对我 们想要的内容 ，与接 口的 response的内容找 到最 相近 的一个接口...
原创
2021-08-14 00:29:55
555阅读
分享下载地址——https://pan.baidu.com/s/1c3eMFJE 密码: eew4备用地址——https://pan.baidu.com/s/1htwp1Ak 密码: u45n内容简介本课程面向从未接触过Python的学员，从最基础的语法开始讲起，逐步进入到目前各种流行的应用。整个课程分为基础和实战两个单元。基础部分包括Python语法和面向对象、函数式编程两种编程范式，基础部分会
转载
2023-12-17 19:31:18
45阅读
第一种、robots.txt方法搜索引擎默认的遵守robots.txt协议，创建robots.txt文本文件放至网站根目录下，编辑代码如下:User-agent: *Disallow: /通过以上代码，即可告诉搜索引擎不要抓取采取收录本网站，注意慎用如上代码：这将禁止所有搜索引擎访问网站的任何部分。如何只禁止百度搜索引擎收录抓取网页1、编辑robots.txt文件，设计标记为:User-agent
转载
2016-12-07 11:32:10
10000+阅读
import reimport requestsdef downloadPic(html,keyword): # url = 'http://image.baidu.com/search/index?tn=bai
原创
2022-09-19 10:12:00
144阅读
寻找并分析百度云的转存api首先你得有一个百度云盘的账号，然后登录，用浏览器（这里用火狐浏览器做示范）打开一个分享链接。F12打开控制台进行抓包。手动进行转存操作：全选文件->保存到网盘->选择路径->确定。点击【确定】前建议先清空一下抓包记录，这样可以精确定位到转存的api，这就是我们中学时学到的【控制变量法】2333。可以看到上图中抓到了一个带有 “transfer” 单词的
转载
2024-08-02 15:49:03
40阅读
百度翻译爬取
原创
2022-02-17 15:53:03
298阅读
原理：百度搜索的url为 http://baidu.com/s?wd=搜索内容360搜索的url为 www.so.com/s?q=搜索内容百度搜素import requests
#keyword = input("请输入你想搜索的内容")
keyword = "123"
try:
kv = {'wd' : keyword}
r = requests.get("http://
原创
2023-05-25 16:35:40
277阅读
Python百度文库爬虫之doc文件说明：此文件是在爬取txt文件下的基础进行的，因此重复内容会一笔带过，不懂请看前面爬取txt文件链接一.网页分析doc文件相对于txt文件来说，链接相对简单以文件链接：https://wenku.baidu.com/view/0ee9fbc585868762caaedd3383c4bb4cf7ecb78f.html?fr=searchfrom IPython.d
转载
2023-12-20 20:49:39
136阅读
导读很高兴各位读者能够前来观看本帖，本次演示所用的python版本为3.7.2,需要预先安装好的python库有requests库和带有etree的lxml库(据说新版没有)目录网页分析代码演示结束语1.网页分析首先打开百度文库首页 https://wenku.baidu.com随便点击进入一片帖子 （实验所用帖子链接：https://wenku.baidu.com/view/e77975cdb8
转载
2023-12-06 23:33:37
113阅读
谈谈需求百度文库在我们需要查找复制一些文档的时候经常用到，但是，现在的百度文库没以前那么可爱了，下载要收费，开会员，一个字都不给复制，这个时候初学python的小伙伴肯定有个写个百度文库爬虫的想法，这里我给各位分享一下一个简易但实用的爬虫脚本，提供url，生成txt文件。页面分析我们首先在百度文库随便搜索一片文章，（此脚本只针对DOC文档）打开它，查看源码 我们定位到具体某行文字，可以发现文字都分
转载
2023-12-19 19:59:00
111阅读
在线测试地址:http://zhaozhaoli.vicp.io/spider/bdwk效果展示
初始界面.png
摄影课感想_百度文库_and_方圆小站.png
获取资源.png
展示文本.png
关
转载
2023-12-01 10:07:42
141阅读
