大家学习Python的过程中,总会想要一个好用的IDE来帮助提升开发的效率。Python自带的IDLE不太适合,命令行模式对于工程结构不太友好,常用的IDE,如Eclipse(需要PyDev插件),还行。微软的VisualStudio自带Python以及各种框架,配置一下interpreter也可以,Sublime,Atom,Notepad++....反正有很多,你喜欢就可以选哪个。这里主要推荐的是JetBrains出品的PyCharm,它家还有著名的Java开发IDE intelliJ IDEA,,说一下简单的用PyCharm写爬虫(简单的一个例子)


  • Prerequisites:1)安装好PyCharm 2) 下载scrapy

  • PyCharm安装:go to https://www.jetbrains.com/pycharm/?fromMenu, 下载社区版或是专业版(收费的,可以30天试用,推荐)。下载完后,直接打开安装(Python已经提前安装好了,安装时需要Python,类似于安装Eclipse时需要JDK一样)

  • 下载Scrapy:用pip安装scrapy。为了不影响安装的Python,可以创建一个Python的虚拟环境,然后再下载scrapy

  • 创建虚拟Python环境:用pip先安装virtualenv这个工具:pip install virtualenv,然后用virtualenv创建一个虚拟环境(如果安装了不同版本的Python,可以指定要用哪个版本的Python的去创建虚拟环境)如下:
    PyCharm和Scrapy写爬虫 (Windows环境配置)

创建一个scrapy的项目:先激活虚拟环境(进入到\venv\Scripts目录下,执行activate),如下(这里venv是创建的虚拟环境)
PyCharm和Scrapy写爬虫 (Windows环境配置)

这个时候,虚拟环境被激活,然后用scrapy命令创建一个爬虫工程:scrapy startproject learn_scrapy
创建完成之后可以看到这样的目录结构,如下(用PyCharm打开):

PyCharm和Scrapy写爬虫 (Windows环境配置)

(note:这里begin.py不是初始文件,是后面创建的,这个例子来自:http://docs.pythontab.com/scrapy/scrapy0.24/intro/tutorial.html

完成上述的操作之后,就是写一个示例来运行一下,可以参考http://docs.pythontab.com/scrapy/scrapy0.24/intro/tutorial.html 这个例子,写一个begin.py在scrapy.cfg的同级目录,再在spider包下面创建一个spider.py的文件。

完成示例代码之后,接着就是运行,这时候需要配置一下运行的环境,选择Run - Edit Configurations...,新建一个python,如下

PyCharm和Scrapy写爬虫 (Windows环境配置)

Python interpreter要选择之前创建的虚拟环境下的

这样就可以开始执行了