一.前置说明周末的两个晚上草草写完，后续会有一些修改 1.只用于个人学习和简化过程，不可用于商用 2.侵删二.过程 1.需求 刚开始是由于某番的更新时间比较特殊，又同时追几个番，一个个去翻网页看是否更新又比较麻烦， 如果只看某些弹幕网的推送也比较麻烦（原因多种）。 所以周末突然想起来用
爬取的网站： http://www.weather.com.cn/weather/101040100.shtml一、下载第三方库 使用pip工具或者pycharm自带的interpreter。 第一种：需要下载requests库和beauti
转载
2023-12-19 21:45:33
411阅读
前提需求在本地环境创建stock库和sina_news表import datetimeimport urllib.requestimport pymysqlfrom bs4 import BeautifulSoup#如果没有安装好BeautifulSoup,这里是会报错的#自定义一个函数拿到博客的链接def getUrl (url): #定义一个headers,存储刚才...
原创
2022-12-06 01:49:24
260阅读
# 如何实现VS Code自动导入Python库
作为一名刚入行的开发者，你可能会对如何在Visual Studio Code（VS Code）中自动导入Python库感到困惑。本文将为你提供一个详细的指南，帮助你轻松实现这一功能。
## 流程概览
首先，让我们通过一个表格来了解实现VS Code自动导入Python库的整个流程。
| 步骤 | 描述 |
| --- | --- |
| 1
原创
2024-07-18 03:35:50
133阅读
# Python自动爬虫入门指南
自动爬虫是指使用编程语言自动获取网页上的数据。Python是一种功能强大的编程语言，广泛用于数据分析、人工智能等领域。在Python中，有很多库和工具可以帮助我们编写自动爬虫程序，如`requests`、`BeautifulSoup`等。本文将介绍如何使用Python编写自动爬虫程序，并提供一些常用的代码示例。
## 什么是自动爬虫？
自动爬虫是一种自动化工
原创
2023-08-02 12:58:15
85阅读
# Python中import后自动导入库的实现方法
## 步骤流程
以下是实现“Python import后自动导入库”的步骤：
| 步骤 | 操作 |
| ---- | ---- |
| 1 | 创建一个Python包（package）|
| 2 | 在包中创建一个`__init__.py`文件|
| 3 | 在`__init__.py`文件中编写代码，实现自动导入库|
## 代码示例
原创
2024-05-23 05:11:39
62阅读
Selenium自动化与爬虫一. selenium自动化介绍与安装1.1 Selenium自动化介绍Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，Selenium 可以直接运行在浏览器上，它支持所有主流的浏览器（包括PhantomJS这些无界面的浏览器），可以接收指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏安装pip insatll selenium1.
转载
2024-01-29 22:25:21
68阅读
什么是数据库数据库，简而言之可视为电子化的文件柜——存储电子文件的处所，用户可以对文件中的数据进行新增、查询、更新、删除等操作。Python DB-API使用流程：引入 API 模块。获取与数据库的连接。执行SQL语句和存储过程。关闭数据库连接。常见的数据库应该是mysql ，mongodb，redis大家首先安装好mysql，mongodb，redisMySQL与Python的交互在使用 PyM
原创
2021-03-04 15:24:11
275阅读
在爬虫的爬取过程当中，会出现一些无法直接访问的页面，这些页面一般需要用户登录之后才能获取完整数据，在这种情况下，作为爬虫的使用者就需要面对这个问题。怎么解决呢?一般来说，有两种方法：一、手动输入二、自动输入在一些网站当中，我们只需要在一开始登录账号之后，就可以不用再管，像这种网站，就适合手动输入，一次输入，不需要再次调整。不过，有时爬虫会遇到一些网站，这些网站信息的获取都需要登录之后才能获取，这种
转载
2023-09-01 21:23:09
115阅读
1)通用urllib -网络库(stdlib)。requests -网络库。grab – 网络库（基于pycurl）。pycurl – 网络库（绑定libcurl）。urllib3 – Python HTTP库，安全连接池、支持文件post、可用性高。httplib2 – 网络库。RoboBrowser&nb
转载
2024-05-14 14:41:02
44阅读
# 如何实现“直播自动爬虫”用 Python
在现代技术中，直播已经成为一种流行的媒体传播方式。而在很多情况下，我们需要对直播内容进行爬取和分析。本文将带你一步一步了解如何使用 Python 实现直播自动爬虫。我们将关注于获取直播间信息、解析数据以及存储数据的整个过程。
## 整体流程
在正式开始编码之前，我们先明确整体流程。下面是整个直播自动爬虫实现的步骤：
| 步骤 | 描述
原创
2024-10-09 04:50:51
278阅读
# Python 爬虫自动关闭实现指南
随着互联网的快速发展，爬虫技术越来越受到重视。爬虫一般用于自动采集网页上的数据，但在特定情况下，可能需要实现爬虫在完成任务后自动关闭。本文将详细介绍如何实现Python爬虫的自动关闭，从基本流程到具体代码，确保即便是初学者也能轻松跟上。
## 一、爬虫自动关闭的流程
为了实现Python爬虫的自动关闭，我们可以将整个过程总结为以下几个步骤。下表清晰地概
mongodb mysql redis的区别和使用场景mysql是关系型数据库，支持事物mongodb，redis非关系型数据库，不支持事物mysql，mongodb，redis的使用根据如何方便进行选择希望速度快的时候，选择mongodb或者是redis数据量过大的时候，选择频繁使用的数据存入redis，其他的存入mongodbmongodb不用提前建表建数据库，使用方便，字段数量不确定的时候使
转载
2024-08-05 16:35:43
18阅读
文章目录数据去重URL去重数据库去重数据去重数据去重又称重复数据删除，是指在一个数字文件集合中，找么需要进行URL去重？在爬虫启动工作的过程中...
原创
2022-09-06 10:10:35
562阅读
文章目录MongoDB实战MongoDB什么是MongoDBMongoDB是一个高性能，开源，无模
原创
2022-09-06 10:42:31
60阅读
工具：Fiddler 首先下载安装Fiddler，这个工具是用来监听网络请求，有助于你分析请求链接和参数。 打开目标网站：http://www.17sucai.com/，然后点击登录
转载
2023-06-13 18:55:13
474阅读
注： 最近有一小任务，需要收集水质和水雨信息，找了两个网站：国家地表水水质自动监测实时数据发布系统和全国水雨情网。由于这两个网站的数据都是动态加载出来的，所以我用了Selenium来完成我的数据获取。数据的获取过程跟人手动获取过程类似，所以也不会对服务器造成更大负荷。这是我写的第1个爬虫，初次接触，还请各位多多指教。本文的代码见Selenium获取动态页面数据1.ipynb或Selenium获取动
转载
2023-08-09 16:08:54
349阅读
python爬虫-cookie登录
http/https协议的特性：无状态
模拟登录之后仍然没有请求到对应页面的信息是因为 发起第二次基于个人页面的请求时，服务器端并不知道还请求是基于用户登录的请求
cookie：用来让服务器端记录客户端相关状态
那么解决这个问题就可以有下面两种方法：手动Cookie方法（利用浏览器抓包工具获取Cookie）自动获取Cookie
Cookie值的来源是模
转载
2023-06-19 13:47:32
288阅读
把函数放在一个模块里面，模块文件：f.py，这样方便其他地方可以调用，调用方法就是import ff.pyimport sqlite3
#烟的条码是否存在
def isBarcodeExist(dbpath,barcode):
con=sqlite3.connect(dbpath);
cur=con.cursor();
cur.execute("select * from
转载
2023-10-20 19:13:50
94阅读
两种引用方式区别：
使用法一用户可以定义自己的pensize()函数，而使用法二则不行
转载
2023-05-30 21:57:18
122阅读
