1. 前言首先自我介绍一下，我是一个做 Java 的开发人员，从今年下半年开始，一直在各大技术博客网站发表自己的一些技术文章，差不多有几个月了，之前加了网站统计代码，看到每天的访问量逐渐多了起来，国庆节期间正好事情不多，就想着写一个爬虫，看下具体阅读量增加了多少，这也就成了本文的由来。2. 技术选型爬虫这个功能，我个人理解是什么语言都能写的，只要能正常发送 请求
转载
2023-12-28 14:21:52
23阅读
# Python爬虫函数
## 简介
在互联网时代，信息获取变得异常便捷。然而，手动从网页中提取大量数据是一项繁琐且费时的任务。这时，我们可以利用Python编写一个爬虫函数来自动化这个过程，从网页中提取所需的数据。
爬虫是指通过程序自动从网页上获取数据的一种技术。Python提供了很多强大的库，如Requests、BeautifulSoup、Selenium等，使得编写爬虫变得简单且高效。
原创
2023-07-21 11:59:54
56阅读
Python爬虫主要分为三大板块：抓取数据，分析数据，存储数据。简单来说，爬虫要做就是通过指定的url，直接返回用户所需数据，无需人工一步步操作浏览器获取。 1.抓取数据一般来说，访问网站url给我们返回两种格式数据，html和json。 1) 无参抓取数据的大多数属于get请求，我们可以直接从网站所在服务器获取数据。在python自带模块中，主要有url
转载
2023-05-17 21:11:22
117阅读
## Python爬虫函数模块及其应用
在当今数字时代，互联网上充满了各种各样的数据。为了从中获取有用的信息，我们需要使用爬虫技术。Python作为一种强大的编程语言，拥有丰富的爬虫函数模块，使得开发者能够轻松地创建自己的爬虫程序。本文将介绍一些常用的Python爬虫函数模块，并提供相应的代码示例。
### 1. requests
[requests](
下面是一个使用requests模块
原创
2023-07-17 04:19:51
89阅读
requests模块介绍相对于python自带的urllib模块，requests模块提供了相对更高层的api来进行网页访问的工作。对于requests模块，使用很简单，一般我们会用到两个函数：requests.get(url,params=None,**kwargs) 这里的params是我们要传入的query，它的格式是dict。requests.post(url,data=None,**kw
转载
2023-10-07 19:35:25
210阅读
61、hash(): hash() 用于获取取一个对象（字符串或者数值等）的哈希值。 hash() 函数可以应用于数字、字符串和对象，不能直接应用于 list、set、dictionary。 在 hash() 对对象使用时，所得的结果不仅和对象的内容有关，还和对象的 id()，也就是内存地址有关。 hash() 函数的对象字符不管有多长，返回的 hash 值都是固定长度的，也用于校验程序在传输过程
转载
2023-09-01 15:13:08
27阅读
BeautifulSoup的find()和findAll()这两个函数在某些方面十分的相似，我们可以使用它们过滤HTML页面，并查找需要的标签组和单个的标签。 这两个函数非常的相似：findAll(tag,attributes,recursive,text,limit,keywords)
find(tag,attributes,recursive,text,key
转载
2023-09-21 03:18:01
93阅读
大家好，我是yma16，本文分享关于python函数入门使用。
原创
2023-12-05 10:37:48
78阅读
# Python爬虫中的decode函数
## 简介
在Python爬虫中，我们经常需要处理爬取到的网页内容，其中一个重要的步骤就是使用`decode`函数对网页内容进行解码，以正确处理中文字符等特殊字符。本文将向你介绍如何使用`decode`函数来解码网页内容。
## 流程概述
以下是整个流程的概述，我们将通过表格展示每个步骤和需要做的事情。
```mermaid
journey
原创
2023-09-29 19:36:35
323阅读
目标：把大的目标分为几个小的目标。因为第一次干这个，所以对自己能力很清楚，所以完成顺序由简单到复杂。1.爬取一期的内容，包括标题，和图片的url2.把数据存在本地的txt文件中3.想爬多少就爬就爬少4.写一个网站，展示一下。(纯用于学习)Let‘s 搞定它!第一步：我用的是google浏览器，进入开发者模式，使用’页面内的元素选择器‘，先看一下内页中的结构，找到我们要的数据所在’标签‘。这里我们需
转载
2023-07-25 21:03:20
65阅读
1、urllib.request模块urllib.request模块是Python自带的模块，一些企业的老项目可能会用到该模块，所以我们有必要去了解这个模块。1.1 版本Python2版本会区分urllib2和urllib，但是到了Python3版本已经不做区分了，用的都是urllib.request。1.2 常用的方法urllib.request.urlopen(‘网址’) 该方法的作用是向网站
转载
2023-09-22 19:48:57
194阅读
1.涉及网络这块，必不可少的模块就是urllib2了。顾名思义这个模块主要负责打开URL和HTTP协议之类的，还有一个模块叫urllib，但它们不是升级版的关系 2.urllib2请求返回网页（1）urllib2最贱的应用就是urllib2.urlopen函数了：urllib2.urlopen(url[,data[,timeout[,cafile[,capath[,cadefault[,
转载
2023-05-31 09:14:53
147阅读
原标题：正确理解Python基础之函数编写与传参方式，你知道吗主要关键内容：函数编写与传参方式- 函数是组织好的，可重复使用的的代码段；- 函数能提高应用的模块性，和代码的重复利用率。定义函数与调用函数- 以 def 关键词开头，后接函数名，函数名后接 ()；- （）之间可以用于定义参数；- 函数内容以冒号起始，并且转行缩进；- return代表着函数结束，选择性地返回一个值给调用函数。```py
转载
2024-01-02 12:34:02
58阅读
（一）人性化的Requests库在Python爬虫开发中最为常用的库就是使用Requests实现HTTP请求，因为Requests实现HTTP请求简单、操作更为人性化。参考资料：快速上手—Requests 登陆操作：模拟登录知乎（二）get请求的基本用法def get(url, params=None, **kwargs)get()函数：参数说明url向服务器发送url请求params添加查询参数
转载
2023-11-04 20:37:30
70阅读
Python爬虫篇（一）初步认识爬虫浏览器的工作原理爬虫的工作原理体验爬虫BeautifulSoup解析数据、提取数据解析数据提取数据find()和find_all()Tag对象使用对象的变化过程 初步认识爬虫爬虫，从本质上来说，就是利用程序在网上拿到对我们有价值的数据。爬虫能做很多事，能做商业分析，也能做生活助手，比如：分析北京近两年二手房成交均价是多少？深圳的Python工程师平均薪资是多少
转载
2023-10-24 21:37:16
62阅读
1、camel接收字符串形式的变量名，并将其转换为驼峰形式。2、这个函数考虑的是变量形式的字符串，单词之间有相关的分隔，而不是直接连续的单词。比如somefunctionname。实例from re import sub def camel(s): s = sub(r"(_|-)+", " ", s).title().replace(" ", "") return s[0].lower() +
原创
2023-03-08 10:29:53
116阅读
1.调用函数 Python内置了很多有用的函数，我们可以直接调用。 要调用一个函数，需要知道函数的名称和参数，比如求绝对值的函数abs，只有一个参数。可以直接从Python的官方网站查看文档： http://docs.python.org/3/library/functions.html#abs 也
原创
2022-05-27 22:00:24
161阅读
scrapy辅助功能实用函数：get_response: 获得scrapy.HtmlResponse对象, 在不新建scrapy项目工程的情况下，使用scrapy的一些函数做测试extract_links: 解析出所有符合条件的链接代码示例以拉勾首页为例，获取拉勾首页所有职位链接，进一步可以单独解析这些链接，获取职位的详情信息import requestsfrom scra...
原创
2022-02-17 14:47:56
457阅读
scrapy辅助功能实用函数：get_response: 获得scrapy.HtmlResponse对象, 在不新建scrapy项目工程的情况下，使用scrapy的一些函数做测试extract_links: 解析出所有符合条件的链接代码示例以拉勾首页为例，获取拉勾首页所有职位链接，进一步可以单独解析这些链接，获取职位的详情信息import requestsfrom scra...
原创
2021-07-12 10:50:25
290阅读
1.函数的参数 定义函数的时候，我们把参数的名字和位置确定下来，函数的接口定义就完成了。对于函数的调用者来说，只需要知道如何传递正确的参数，以及函数将返回什么样的值就够了，函数内部的复杂逻辑被封装起来，调用者无需了解。 Python的函数定义非常简单，但灵活度却非常大。除了正常定义的必选参数外，还可
转载
2022-05-27 22:00:09
206阅读
