前面在说爬虫原理的时候说了，就写代码自动化的获取数据，保存下来数据，那怎么写代码来请求一个网址，获取结果呢，就得用requests模块了。这篇博客说一下requests模块的使用，requests模块是python的一个第三方模块，它是基于python自带的urllib模块封装的，用来发送http请求和获取返回的结果，操作很简单。requests模块是第三方模块，不是python自带的，需要安装才
转载
2024-03-14 23:27:41
24阅读
我们要安装的有jupyter(简单方便的写代码工具)requests(Python HTTP请求工具)lxml(解析网页结构工具)beautifulsoup(网页文档解析工具)pip是Python的包管理工具，可以安装，升级，卸载Python包，并且只需要一条命令就行，是个非常棒的工具。开始安装Windows键+X键，点出来命令提示符。
然后输入pip3 install jupyter，回车。然后
转载
2023-07-03 18:48:10
130阅读
关系型数据库基于关系模型的数据库，而关系模型是通过二维表来保存的，所以它的存储方式就是行列组成的表，每一列是一个字段，每一行是一条记录。表可以看作是某个实体的集合，而实体之间存在联系，这就需要表与表之间的关联关系来体现，如主键外键的关联关系，多个表组成一个数据库，也就是关系型数据库。关系型数据库有多种，如 SQLite、MySQL、Oracle、SQL Server、DB2等等。在本节我们主要介绍
转载
2023-06-29 18:06:17
106阅读
Python 网络爬虫的常用库汇总爬虫的编程语言有不少，但 Python 绝对是其中的主流之一。今天就为大家介绍下 Python 在编写网络爬虫常常用到的一些库。请求库：实现 HTTP 请求操作urllib：一系列用于操作URL的功能。
requests：基于 urllib 编写的，阻塞式 HTTP 请求库，发出一个请求，一直等待服务器响应后，程序才能进行下一步处理。
selenium：自动化
转载
2023-09-01 20:24:42
53阅读
python可用的数据库非常多，在这里就介绍两种最常用的数据库。MySQL是一个关系型数据库管理系统，由瑞典MySQL AB 公司开发，目前属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一，在 WEB 应用方面，MySQL是最好的 RDBMS (Relational Database Management System，关系数据库管理系统) 应用软件。MySQL是一种关
转载
2023-06-01 20:33:22
205阅读
除将爬取到的信息写入文件中之外，程序也可通过修改 Pipeline 文件将数据保存到数据库中。为了使用数据库来保存爬取到的信息，在 MySQL 的 python 数据库中执行如下 SQL 语句来创建 job_inf 数据表：CREATE TABLE job inf (
id INT (11) NOT NULL AUTO_INCREMENT PRIMARY KEY,
ti
转载
2023-07-02 16:28:09
133阅读
关于爬虫爬取数据并存入MySQL数据库（以东方财富网上的股票数据为例，网页：深南电A(000037)资金流向 _ 数据中心 _ 东方财富网）第一步，创建数据库中的数据表 import requests
import pandas as pd
import re
import pymysql
db = pymysql.connect(host='localhost', user='root', p
转载
2023-07-27 21:37:33
2阅读
一、python连接数据库 pyton连接数据库需要先安装pymysql模块：pip install pymysql 安装完成后导入pymysql模块：import pymysql python连接数据库主要分五个步骤： step1：连接数据库 step2：创建游标对象 step3：对数据库进行增删改查 step4：关闭游标 step5：关闭连接# 1. 连接数据库，
conn = pymysql
转载
2023-06-30 22:12:03
243阅读
在python项目中的数据库使用时，为了方便，我直接将pymysql库提供的接口封装成单独的函数实现，创建数据库和表，初始化，连接数据库，断开数据库，执行操作，查询操作。1.创建库和表# 创建数据库
def build(self):
# 创建连接
conn = p
转载
2023-08-06 09:44:20
100阅读
Python作为数据科学主流语言，被广泛用于数据读存、处理、分析、建模，可以说是无所不能。数据一般存放在本地文件或者数据库里，之前介绍过如何使用python读取本地文件，也对# PyMySQL、cx_Oracle等数据库连接库做过简单的使用分享。这次推荐一个python自带的轻量级数据库模块-sqlite3，先要弄清楚什么是SQLite：SQLite是一种用C写的小巧的嵌入式数据库，它的数据库就是
转载
2024-02-27 10:41:51
25阅读
Python爬虫库?获取数据部分?requests?you-get?autoscraper?urllib总结 你学过爬虫吗，你用过这些爬虫库吗，这些都是非(大型框架、驱动浏览器和分布式)的爬虫库。?获取数据部分?requests看到目录，爬虫初学者可能只认识这个库，因为他是使用最多的爬虫库，也是最常见的爬虫库。 requests是用Python编写的、基于urllib3、采用Apache2 Li
转载
2023-11-30 16:57:07
230阅读
这次我们要在scrapy框架下重构我们上次写的排行榜小说爬虫（https://zhuanlan.zhihu.com/p/26756909） 并将爬取的结果存储到mysql数据库中。另外，这是爬虫专栏第二部分：Scrapy框架 的最后一篇文章啦~目标分析：我们的目标十分明确：由于上次自己写的bs4小说爬虫效率堪忧，我又不肯自己写多线程（其实是不会！逃）所以我们来利用Scrapy强大的并发功能吧！但是
转载
2024-06-16 15:53:05
50阅读
Android系统集成了一个轻量级的数据库：SQLite，所以Android对数据库的支持很好，每个应用都可以方便的使用它。SQLite作为一个嵌入式的数据库引擎，专门适用于资源有限的设备上适量数据存取，现在的主流移动设备像Android、iPhone等都使用SQLite作为复杂数据的存储引擎，并且它是以手机内存为储存的。 那么，实际开发项目中有大量数据需要读写，并且需要面临大量用户的并发储
转载
2023-08-23 15:24:44
63阅读
S1.目标抓取一个网页并分析，从而：得到半结构化数据，如抓取新浪微博一个页面中的内容。得到其他网页的指针，如抓取新浪微博中下一个页面。下载文件，如这次要下载PDF的任务。多线程抓取与分布式抓取。自动密钥。S2.方法概述有多少种方法可以用的呢？1.自己写urllib2+urlparse+re最原始的办法，其中urllib2是python的web库、urlparse能处理url、re是正则库，这种
转载
2023-08-12 15:33:02
60阅读
前言前面python爬虫（中）–提取，讲的是提取出来的数据保存进一个extracted_data,再保存进extracted_data_，变成一个list包含list的情况，当然你只提取一项，那就没有必要这么做了，可是我的项目中要求可能要提取十几二十项，我为了后面入库方便，所以前面做了这么一个工作。到提取为止，基本爬虫差保存就完成了，什么是基本爬虫，基本爬虫=请求+提取+保存，而不考虑一些针对反反
转载
2023-10-15 15:57:53
81阅读
经常游弋在互联网爬虫行业的程序员来说，如何快速的实现程序自动化，高效化都是自身技术的一种沉淀的结果，那么使用Python爬虫都会需要那些数据库支持？下文就是有关于我经常使用的库的一些见解。 请求库：1、urllib：urllib库是Python3自带的库（Python2有urllib和urllib2，到了Python3统一为urllib），这个库是爬虫里最简单的库。2、requests：reque
转载
2023-11-17 22:40:10
49阅读
python爬虫要用到的库：请求库：实现 HTTP 请求操作urllib：一系列用于操作URL的功能。requests：基于 urllib 编写的，阻塞式 HTTP 请求库，发出一个请求，一直等待服务器响应后，程序才能进行下一步处理。selenium：自动化测试工具。一个调用浏览器的 driver，通过这个库你可以直接调用浏览器完成某些操作，比如输入验证码。aiohttp：基于 asyncio 实
转载
2023-11-21 15:04:45
46阅读
数据库即存储数据的仓库，不管是在PC端还是移动手机客户端都非常重要,应用也非常广泛，如手机中的通讯录应用、短消息应用、日历，邮箱应用等都基于本地数据库存储数据的，而Android手机中使用的是Sqlite数据库。 &nbs
转载
2023-07-13 09:14:33
313阅读
# Python爬虫 论文数据库
在当今信息爆炸的时代，我们需要从海量的信息中获取我们所需要的内容。而在学术界，获取最新的研究成果是至关重要的。而对于研究者来说，查阅论文数据库是一个常见的工作。但是手动查找论文费时费力，这时候我们可以借助Python爬虫技术来实现自动化检索论文数据库的功能。本文将介绍如何使用Python爬虫来获取论文数据库中的信息，并给出代码示例。
## Python爬虫基础
原创
2024-06-12 05:06:03
49阅读
# 使用 Python 编写专利数据库爬虫
在当今的数字化时代，专利信息是企业和科研机构进行创新与竞争的重要参考。如何获取、整理并利用这些信息呢？编写一个专利数据库爬虫是一个有效的方法。本文将介绍如何使用 Python 编写一个简单的专利数据库爬虫，包括数据获取、解析和存储等。
## 一、环境准备
在开始之前，确保你已经安装了以下 Python 库：
1. `requests`：用于发送
