python抓取微博 python爬取微博

本文通过一种简单的方式来抓取华为终端官方微博的内容信息。首先抓取登录微博的cookie，然后使用cookie来登录微博。
具体的代码如下所示：

# -*- coding: utf-8 -*-
"""
Created on Sun Apr 16 14:16:32 2017
@author: zch
"""

import requests
from bs4 import BeautifulSoup
import time
import pandas as pd

#放入cookie信息
cook = {"Cookie":"_T_WM=..."} 

#爬取华为终端官方微博的内容
url = "https://weibo.cn/huaweidevice"

html = requests.get(url,cookies=cook).content

#使用Beautiful来解析网页内容。
soup =BeautifulSoup(html,"html.parser")

r = soup.findAll('span',attrs={"class" : "ctt"})
for e in r:
    print(e.text)

运行结果如下所示：

当然，上面的代码一次只能实现爬取少量的内容信息，还很简陋。后面要想办法解决多页连续爬取和自动分类存储的问题。