Scrapy 是python中的一个数据抓取模块。其主要作用是建立一个spider,向网页发起request请求,接收到返回数据后爬取所需要的网页内容。 

scrapy 的安装主要有两种途径,一种是在cmd运行中输入代码:pip install scrapy. 系统会自动从互联网上安装所需要的安装包和库文件;第二种是通过一个python的模块软件(anaconda)安装。我采用的是第二种,anaconda安装 。我一共反反复复安装了三次,主要问题是没有建立对应的环境变量,使得cmd中总是无法找到并开启python和scrapy。最后总算是成功了,先放一张成功之后运行的图。

scss python 版本 python scapy模块安装_杂谈

scss python 版本 python scapy模块安装_python_02

  • 环境变量

先说一下什么是环境变量,百度百科“环境变量”,

       环境变量(environment variables)一般是指在操作系统中用来指定操作系统运行环境的一些参数,如:临时文件夹位置和系统文件夹位置等。环境变量是在操作系统中一个具有特定名字的对象,它包含了一个或者多个应用程序所将使用到的信息。例如Windows和DOS操作系统中的path环境变量,当要求系统运行一个程序而没有告诉它程序所在的完整路径时,系统除了在当前目录下面寻找此程序外,还应到path中指定的路径去找。用户通过设置环境变量,来更好的运行进程。

我的理解就是相当于建立一条快捷通道,让系统认得某个exe执行文件,从而可以在任意一个目录下快速找到这个文件,而不用传统上的一步步先找到子文件的母文件夹,打开,然后再输入文件名,open。

  • scrapy安装

scrapy的环境变量可以在安装过程中自动添加,当安装完anaconda之后,会跳出一个界面,让你进行选择,上下两个选项,第一个选了会有红色标注警告,即自动建立环境变量警告,不用理睬,勾选上。第二个选项是anaconda面向单个用户还是全体,也勾上,点确定。这样anaconda就自动地在计算机上建立了快捷方式,在cmd上就能够直接输入文件名启动了。

当然环境变量也可以手动设置,“计算机—>属性—>高级系统设置—>高级—>环境变量—>path—>编辑—>然后添加完整的文件地址就可以了”。

全部安装完毕后,在cmd中直接输入scrapy,如果跳出一大段可运行命令,那么就安装成功了,可以在pycharm中import scrapy了。