由于pycharm不能直接创建scrapy项目,必须通过命令行创建,所以相关操作在pycharm的终端进行:
1、安装scrapy模块:pip install scrapy
2、创建一个scrapy项目:scrapy startproject test_scrapy
3、生成一个爬虫:scrapy genspider itcast "itcast.cn”
4、提取数据:完善spider,使用xpath等方法
5、保存数据:pipeline中保存数据
由于pycharm不能直接创建scrapy项目,必须通过命令行创建,所以相关操作在pycharm的终端进行:
1、安装scrapy模块:pip install scrapy
2、创建一个scrapy项目:scrapy startproject test_scrapy
3、生成一个爬虫:scrapy genspider itcast "itcast.cn”
4、提取数据:完善spider,使用xpath等方法
5、保存数据:pipeline中保存数据
创建scrapy项目windows+r打开cmd命令行工具,cd Desktop进入到桌面目录输入创
一、Scrapy目录结构在分析之前项目结构的含义之前,我们会先创建爬虫项目。会生成一个与爬虫项目名称同名的文件夹,该文件夹下拥有一个同名
举报文章
请选择举报类型
补充说明
0/200
上传截图
格式支持JPEG/PNG/JPG,图片不超过1.9M