#个人笔记!


#参考 http://www.crummy.com/software/BeautifulSoup/bs3/documentation.zh.html#Quick%20Start


#参考 http://cuiqingcai.com/1319.html



首先是安装:


1.到http://www.crummy.com/software/BeautifulSoup/网站上上下载


2.下载完成之后需要解压缩,假设放到D:/python下。


3.运行cmd,切换到D:/python/beautifulsoup4-4.1.3/目录下(根据自己解压缩后的目录和下载的版本号修改),


cd /d D:/python//beautifulsoup4-4.1.3

4.运行命令:


setup.py build 

 

  setup.py install

5.在IDE下from bs4 import BeautifulSoup,没有报错说明安装成功。



其次是使用:


1.三种对象


把爬下来的html网页装进beautifulsoup中,得到一个soup对象,接着就可以对soup对象进行操作分析,提取所需要的内容。整个html网页可以视为一棵树,最上面的结点就是html标签所表示的结点,可以通过类似于数据结构中树的关系访问整个html的各个节点。


除了soup对象外,还有tag对象和 navigablestring对象。tag对象就是各个标签所标记的对象,如html tag,body tag等。 navigablestring是最里层的对象,也就是说navigablestring内不含有任何标签。总结起来就是对网页的解析可以分为三种对象,soup对象,tag对象,navigablestring对象。




2.对结点的遍历


对结点有几种遍历方法。


1)用标签直接访问,soup对象.tag属性,就可以返回一个tag对象。如soup.body。


2)用contents和parents访问tag对象的直接子节点和直接父节点


3)用next和previous访问tag对象的下一个节点和上一个节点,按照深度优先的原则遍历


4)用 nextsibling和previoussibling访问下一个兄弟结点和上一个兄弟结点


navigablestring对象并没有这些方法。




3.对结点的搜索


对结点的搜索有两个方法,find和findAll。两个方法的一般使用方法就是提供标签关键字和字典关键字。


比如,现在要提取“NBA,虎扑nba中文网,nba为主的专业篮球网站,专注于最全的nba直播,nba视频,图片及原创及nba新闻....”这个标题,可以用以下代码:


soup.find('meta',name="description")['content']




python beautifulsoup库下载 python怎么安装beautifulsoup模块_html

find和findAll的区别在于,find只找到最近的一个复合要求的搜索项,而findAll则返回全部的结果,以ResultSet对象返回,这是一个类似于lis但是又不是list的对象,只能通过迭代去访问,而不能用索引访问。