在windows还是在linux上,如果我们直接使用pip安装Scrapy,会报错,这是因为scrapy依赖twisted,而twisted需要c++的一个文件,在Windows环境下,那么需要下载.whl文件。

直接安装scrapy

1、安装Twisted

1.1 进入到 https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted ,下载 Twisted‑18.7.0‑cp35‑cp35m‑win_amd64.whl (我的python版本是3.5的,根据需要下载对应的文件) 
1.2 进入文件所在目录 
1.3 pip install Twisted‑18.7.0‑cp35‑cp35m‑win_amd64.whl

2、安装scrapy

2.1 pip install wheel
2.2 pip install Twisted‑18.7.0‑cp35‑cp35m‑win_amd64.whl
2.3 pip install pywin32
2.4 pip install scrapy

windows安装scrapy,需要依赖 https://sourceforge.net/projects/pywin32/files/

3、scrapy设置可执行文件操作
在项目目录下新建任意一个 py 文件,将以下内容直接复制到里面即可运行,而不用我们自己手动取输入命令。

#!/usr/bin/env python
#-*- coding:utf-8 -*-
from scrapy.cmdline import execute
import os,sys

sys.path.append(os.path.dirname(os.path.abspath('__file__')))
#execute(['scrapy','crawl','name'])
execute('scrapy crawl name'.split())

#name为spider名字,根据自己定义的来

scrapy库的安装是要有很多的库作为基础的,一般学习Scrapy框架的话,这个是第一个坎。建议使用Anaconda安装,这个集成环境。

通过 anaconda 安装 scrapy

一、下载安装Anaconda
1、官网下载Anaconda

官网地址:https://www.anaconda.com/download/
如果想下载不是最新版本anaconda:https://repo.continuum.io/pkgs/

2、安装Anaconda
如果是windows 10系统,注意在安装Anaconda软件的时候,右击安装软件→选择以管理员的身份运行。

完成安装后,在windows上操作,按下面图打开 Anaconda Prompt(以管理员身份运行)

3、查看安装的内容

在终端或命令提示符中键入 conda list

备注:如果按上面操作后在Anaconda Prompt中都无法使用conda命令,按以下顺序的解决办法来尝试(正常使用的朋友忽略这一步,继续往下):
①检查你是否原来安装过Python,如果安装过请彻底删除Python(同时要删除环境变量)后重装Anaconda
②检查自己是否将Conda命令添加到了环境变量

二、管理包
安装了 Anaconda 之后,就可以很方便的管理包了(安装,卸载,更新)。

#安装包
conda install package_name
conda install package_name1 package_name2 package_name3 ....
conda install package_name=版本号(1.10)

#卸载包
conda remove package_name      

#更新包
conda update package_name      
conda update --all    #更新所有的包(这个很常用)

#罗列所有安装的包
conda list  

#所有软件包是否安装
conda search  search_term
想安装numpy,但我不清楚确切的包名称,可以这样尝试:conda search num

三、安装Scrapy

(base) C:\Windows\system32>conda install scrapy

四、修改pycharm中python的环境变量

Python 安装Shadowsock 知乎 python安装scrapy_Windows

五、管理环境
conda 可以在不同的项目中建立不同的运行环境。
1、安装nb_conda用于notebook自动关联nb_conda的环境。

(base) C:\Windows\system32>conda install nb_conda

2、创建环境

(base) C:\Windows\system32>conda create -n env_name package_name
env_name 是设置环境的名称(-n 是指该命令后面的env_name是你要创建环境的名称)
package_name 是你要安装在创建环境中的包名称。
例如,要创建环境名称为 py3 的环境并在其中安装 numpy,在终端中输入 conda create -n py3 pandas。

3、创建环境时,可以指定要安装在环境中的 Python 版本
当你同时使用 Python 2.x 和 Python 3.x 中的代码时这很有用。要创建具有特定 Python 版本的环境

创建环境名称为py3,并安装最新版本的Python3:conda create -n py3 python=3 

创建环境名称为py2,并安装最新版本的Python2:conda create -n py2 python=2

安装特定版本(例如 Python 3.6): conda create -n py python=3.6

4、进入环境

在 Windows 上,使用 activate env_name进入。
例如:activate py3
在 OSX/Linux 上使用 source activate env_name 进入环境。

进入环境后,可以用conda相关的指令对包进行操作。

5、离开环境

在 Windows 上,终端中输入: 
deactivate

在 OSX/Linux 上 输入:
source deactivate

6、删除环境
如果你不再使用某个环境,可以使用 conda env remove -n env_name 删除指定的环境。