request是一个类似于http请求的类,对于爬虫而言是一个很重要的类。请求一般是在Spider中创建,在Downloader中执行这样一个请求。同时,在scrapy框架中,还有一个类也可以发送请求,该类是FormRequest ,用于post提交
request类的属性和方法
url,method,headers,body,meta,copy(),replace()
Request参数说明
url(请求的url) callback(回调函数,用于接收请求后返回的信息,如果没有指定,则默认为parse()函数)
method(http的请求方式,默认为GET请求,一般不需要指定,如果为post请求,用FormRequest)headers(请求头信息)
body (str类型,请求体,一般不需要设置)
cookies (dict或者list类型。。字典形式{“name1”:“value1”,“name2”:“value2”},list类型[{"name1":"value1"},{"name2":"value2"}])
encoding (默认编码方式,一般为utf-8)
priority (int类型,指定优先级,可以为负数,默认为0)
dont_filter (默认为False,若设置为True,此次请求不会过滤,不会加入到去重队列,可以执行多次相同的请求。)
meta 传递参数
..................
FormRequest
该类为Request的子类,用于post提交,新增一个参数为formdata,其他参数和父类一样
用法