这个实战内容包含，selenium、pyquery、re、pymongo pymongo安装去这里：http://blog.51cto.com/13155409/2125020 实战抓取淘宝美食信息并且存入MongoDB数据库中

实现源码如下：

import pymongo
from selenium import webdriver
import re
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from pyquery import PyQuery as pq

browser = webdriver.Chrome()         #导入浏览器驱动对象
wait = WebDriverWait(browser, 10)    #设置浏览器等待时间

client = pymongo.MongoClient('192.168.10.15')   #创建一个客户端对象
db = client['taobao']   #设置数据库名，会自动建立


def search():
		'''
		函数主要功能是：通过webdriver.Chrome打开淘宝网页，并对“美食”这个关键词进行搜索。
		:return: 返回网页的响应码
		'''
		browser.get('https://www.taobao.com')
		input = wait.until(
				EC.presence_of_element_located((By.CSS_SELECTOR,'#q'))
		)
		submit =wait.until(
				EC.element_to_be_clickable((By.CSS_SELECTOR, '#J_TSearchForm > div.search-button > button'))
		)
		input.send_keys('美食')   #输入搜索的关键词
		submit.click()
		return browser.page_source

def trun_page(page):
		'''
		该函数的功能是：实现翻页
		:param page: 通过search页面搜索到的内容页数，返回到主函数，然后通过主函数传递到此处
		:return: 已经获得了第一页的内容了，第二页开始就从这里开始反复调用
		'''
		index = wait.until(
				EC.presence_of_element_located((By.CSS_SELECTOR,'#mainsrp-pager > div > div > div > div.form > input'))
		)
		submit = wait.until(
				EC.element_to_be_clickable((By.CSS_SELECTOR,'#mainsrp-pager > div > div > div > div.form > span.btn.J_Submit'))
		)
		index.clear()   #清除输入框的内容
		index.send_keys(page)   #输入page页码
		submit.click()   #点击跳转的按钮
		get_products(browser.page_source)

def get_products(html):
		wait.until(
				EC.presence_of_element_located((By.CSS_SELECTOR,'#mainsrp-itemlist .items .item'))
							 )
		html = pq(html)    #使用pyquery解析html代码
		doc = html('#mainsrp-itemlist .items .item').items()  #通过item产生一个generator类型，使用for循环遍历
		for item in doc:
				product={
						"picture": item.find('.pic .img').attr('src'),
						'name': item.find('.row.title').text().replace('\n',''),
						'price':item.find('.price').text().replace('\n',''),
						'deal':item.find('.deal-cnt').text()[:-3],
						'location':item.find('.location').text()
				}
				print(product)
				#save_to_mongodb(product)
		return(html)


def save_to_mongodb(result):
		'''
		这个函数主要用于把每页的信息写入到MongoDB数据库中
		'''
		try:
				if db['product'].insert(result):   #创建一个product的集合，类似于mysql中的表，然后插入数据
								print('存储到MongoDB成功')
		except Exception:
				print('存储到MongoDB出错')



def main():         #定义主函数
		# 调用搜索函数 (对关键词搜索，本文中是以“美食”在淘宝搜索)
		html = search()

		# 调用该函用以获取单页的所有产品的信息
		html = get_products(html)

		#通过上面get_products()返回经过pyquery解析后的html代码，用于获取总页数
		total = html('.total').text()
		total = int(re.search('(\d+)',total).group(1))
		print(total)  #打印出总页数

		#对页数进行循环，这里是从 2 开始，因为前面已经获取一次了
		for page in range(2,total):
				#下面函数主要用于网页翻页
				trun_page(page)

if __name__ == "__main__":
		main()