大数据时代下，生活和数据息息相关，越来越多的行业和个人都需要大数据的帮助。这样的背景下，爬虫采集成为主流。爬虫过程中主要使用的是Python语言，而在Python开发中，数据存储、读取是必不可少的环节，而且可以采用的存储方式也很多，常用的方法有json文件、csv文件、MySQL数据库、Redis数据库以及Mongdb数据库等。
1、json文件存储数据
json是一种轻量级的数据交换格式，采用完全独立于编程语言的文本格式来存储和表示数据，可以轻松解决py2和py3的编码问题，内容结构类似于python中的字典和列表，层次结构简洁而清晰，易于人阅读和编写，同时也易于机器解析和生成，并有效地提升网络传输效率。
2、csv文件
Python可以将数据存储为CSV文件格式，我们可以用excel打开CSV文档，进行数据的浏览，十分方便，以下是将数据存储到test.csv文件的相关实例：
3、MySQL数据库
MySQL数据库存储方式是使用Python数据存储最常用的存储方式，Python标准数据库接口为Python DB-API，Python DB-API为开发人员提供了数据库应用程序接口，MySQLdb 是用于Python链接Mysql数据库的接口。MySQL数据库存储过程是引入API模块、获取与数据库的连接、执行SQL语句和存储过程，最后关闭数据库连接。
4、Redis数据库
使用Python数据存储为Redis数据库，优点是方便、速度快，但是取出的数据是二进制数据，一般需要转为字符串再操作，以下是具体实例：
5、Mongdb数据库
使用Python数据存储为Mongdb数据库，优点是不在乎数据结构，需要注意的是取出来的时候需要写个脚本整理一下，以下是具体实例：
以上是使用Python进行数据储存的五种方法和使用方法的简单介绍，感兴趣的可以深入学习更多用法！当然了，无论使用哪种方法存储数据，同一个IP频繁操作，必然会导致IP受限，不过现在这也不算问题，因为市面上的代理IP基本都可以解决这个问题。
