理论梳理
- 爬虫个人理解:用代码在网页上循着线索收集数据
- URL:(Uniform Resource Locator)指定信息位置的表示方法
- 爬虫思路:根据URL去获取目标信息
- 使用的功能包:requests
- 流程图:
举例
- 从JD上获取某款口红的评论区内容,代码和注释如下:
import requests #引入功能包_第一行代码
a = requests.get('https://club.jd.com/comment/
productPageComments.action?callback=fetchJSON_c
omment98&productId=100006262957&score=0&sortType=5&pa
ge=0&pageSize=10&isShadowSku=0&fold=1') #通过URL获取目标内容_第二行代码_括号里的内容是口红评论内容的URL
b = a.text #将获取的内容写为无格式文本_第三行代码
print(b) #将文本输出