python爬虫获取国内大学排名
- 整体思路
- 获取网站信息
- 处理获取到的信息
- 标签树
- 分析具体网址
- 输出爬取的信息
- 成功了吗？没有
- 重新出发
整体思路
首先需要找到一个可以看排名的网站，同时他允许我们爬取信息。https://www.shanghairanking.cn/rankings/bcur/2020
然后获取到网站信息，对信息提取处理后呈现出来。
获取网站信息需要用到requests库，处理信息用到bs4库。
获取网站信息
requests库作为python的第三方库，用以从网页上获取信息。使用前需要先下载，轮到pip出场了！
pip install requestsrequests库提供了get方法像服务器请求资源。get方法第一个参数url传入我们想要获取信息的网址，params为链接中额外的参数。第三个参数为一些控制访问的参数。
requests.get(url, params=None, **kwargs)例如，如果您想将key1=value1和传递 key2=value2给httpbin.org/get，则可以使用以下代码：
>>> payload = {'key1': 'value1', 'key2': 'value2'}
>>> r = requests.get('https://httpbin.org/get', params=payload)
>>>> print(r.url)
https://httpbin.org/get?key2=value2&key1=value1这里我们把网址直接传进去就行。
import requests
url='https://www.shanghairanking.cn/rankings/bcur/2020'
r=requests.get(url,timeout=30) #设置超时时间30s
r.raise_for_status() #返回响应码不是200就报异常
r.encoding=r.apparent_encoding #设置响应文本编码为实际编码
html=r.text #将返回的信息放在变量里处理获取到的信息
这里需要用到Beautiful Soup库，也叫beautifulsoup4 或bs4，使用pip下载bs4库。
bs4库提供了html解析器，通过对html标签树的遍历，我们可以得到我们想要的某个标签下的信息。
标签树
html是以<>…</>构成所属关系，形成了标签的树形结构。标签下套着标签，根据标签的所属关系，可以画出一个树形的结构。在对树形结构遍历时，分为自上而下，自下而上，平行遍历。我们可以通过bs4库的属性获取到某一个标签的父类，子类或者兄弟节点来定位我们需要的信息。
分析具体网址
查看学校排名网址的源代码，找到我们需要的信息的位置。我们要找的就是学校排名，名称，还有总分。通过观察可以看到这几个信息都在tr标签下，每一个tr就是一行信息。那要找到tr的老板，找到了tbody。tbody只有一个，那找到他下面所有的tr，就找到了我们要的排名信息。
开动吧！
import bs4
ulist=[]
soup=BeautifulSoup(html,'html.parser')
for tr in soup.find('tbody').children: #find所有tbody下面节点
if isinstance(tr, bs4.element.Tag): #如果获取到的tr是标签才继续
tds=tr('td') #把td标签下信息放到列表tds里
ulist.append([tds[0].string,tds[1].string,tds[4].string]) #将我们想打印的信息放在列表ulist里输出爬取的信息
先输出一个表头，再依次输出前十名的排序。
print("{:^10}\t{:^10}\t{:^10}".format("排名","学校","总分"))
for i in range(10):
u=ulist[i]
print("{:^10}\t{:^10}\t{:^10}".format(u[0],u[1],u[2]))成功了吗？没有
输出以后发现只有序号和总分，没有学校名称，输出u查看下获取到的信息具体是啥。
可以看到学校名称获取到的是空，返回查看源代码，发现在学校名称的td下面还有a标签，然后才是名称。那要回去到名称就需要找到a标签，然后获取a标签下的字符串就行了。
tds=tr('td')
a=tr.find('a')
ulist.append([tds[0].string,a.string,tds[4].string])重新出发
这次获取到了名称，但是格式不对了。不管怎么调整宽度，这三个字符就是不在一行。那只能看看他的真面目了！
输出后发现每个获取到的数据都有空格和换行，那当然不在一行了（摊手）
情况就是这么个情况，只能在获取时把空格换行这些都去掉。
ulist.append([tds[0].string.strip(' \n'),a.string,tds[4].string.strip('\n ')])编辑输出格式，添加中文占位符，输出前10排名的大学
