1.安装 pip install BeautifulSoup4

2.导入模块
   #!/usr/bin/env python
   from bs4 import BeautifulSoup #process html
   #from bs4 import BeautifulStoneSoup #process xml
   #import BeautifulSoup #all

   创建对象：str初始化，常用urllib2或browser返回的html初始化BeautifulSoup对象。
   html_doc = """
   <html><head><title>The Dormouse's story</title></head>
   <body>
   <p class="title"><b>The Dormouse's story</b></p>
   <p class="story"><a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>
   and they lived at the bottom of a well.</p>
   <p class="story">...</p>
   """
   soup = BeautifulSoup(html_doc)

3.使用
        soup 就是BeautifulSoup处理格式化后的字符串，
            soup.title 得到的是title标签，
            soup.p 得到的是文档中的第一个p标签，要想得到所有标签，得用find_all函数。
            find_all 函数返回的是一个序列，可以对它进行循环，依次得到想到的东西.

            get_text() 是返回文本,这个对每一个BeautifulSoup处理后的对象得到的标签都是生效的。你可以试试 print soup.p.get_text()

            其实是可以获得标签的其他属性的，比如我要获得a标签的href属性的值，
                可以使用 print soup.a['href'],类似的其他属性，比如class也是可以这么得到的（soup.a['class']）
            特别的，一些特殊的标签，比如head标签，是可以通过soup.head 得到，其实前面也已经说了。

   如何获得标签的内容数组？使用contents 属性就可以 比如使用 print soup.head.contents，
      就获得了head下的所有子孩子，以列表的形式返回结果，可以使用 [num] 的形式获得 ,获得标签，使用.name 就可以。

   获取标签的孩子，也可以使用children，但是不能print soup.head.children 没有返回列表，返回的是 <listiterator object at 0x108e6d150>,

   不过使用list可以将其转化为列表。当然可以使用for 语句遍历里面的孩子。

   关于string属性，如果超过一个标签的话，那么就会返回None，否则就返回具体的字符串print soup.title.string 就返回了 The Dormouse's story

   超过一个标签的话，可以试用strings

   向上查找可以用parent函数，如果查找所有的，那么可以使用parents函数

   查找下一个兄弟使用next_sibling,查找上一个兄弟节点使用previous_sibling,如果是查找所有的，那么在对应的函数后面加s就可以

      如何遍历树？

      　使用find_all 函数

         find_all(name, attrs, recursive, text, limit, **kwargs)

         举例说明：

         print soup.find_all('title')
         print soup.find_all('p','title')
         print soup.find_all('a')
         print soup.find_all(id="link2")
         print soup.find_all(id=True)

         返回值为：

         [<title>The Dormouse's story</title>]
         [<p class="title"><b>The Dormouse's story</b></p>]
         [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
         [<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>]
         [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]

            通过css查找,直接上例子把：

            print soup.find_all("a", class_="sister")
            print soup.select("p.title")

            通过属性进行查找
            print soup.find_all("a", attrs={"class": "sister"})

            通过文本进行查找
            print soup.find_all(text="Elsie")
            print soup.find_all(text=["Tillie", "Elsie", "Lacie"])

            限制结果个数
            print soup.find_all("a", limit=2)

            结果为：

            [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
            [<p class="title"><b>The Dormouse's story</b></p>]
            [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
            [u'Elsie']
            [u'Elsie', u'Lacie', u'Tillie']
            [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>]

         总之，通过这些函数可以查找到想要的东西。

=================================================

   最简单的爬虫，在Python3中，urllib库可以独立完成这些工作。下面是直接在python控制台上输入的代码最简单的爬虫，可以获取到原始字节及解码后的文本。

   >>> import urllib.request as request
   >>> url = 'http://www.baidu.com'
   >>> origin_bytes = request.urlopen( url ).read()
   >>> origin_string = origin_bytes.decode( 'utf-8' )
   >>> print(origin_string)

其中origin_bytes现在得到了传输过来的原始字节，而origin_string则是将这些原始字节以UTF-8编码方式解码出来的原始字符串。
然后我们就可以使用各种HTML解析工具或单纯地用文本解析工具来获取需要的数据。

   使用headers伪装成浏览器进行访问
   有的网站比如说，如果用上面那种方法来访问，则会返回403拒绝访问的错误信息。这是因为有部分网站禁止除浏览器之外的方法进行访问。
   需要在发送请求的时候加入headers信息，伪装成浏览器，这样就不会出现403的错误了。抓取频繁时还需要变化head信息和采用代理IP的方式。
   下面是一个最简单的使用headers的例子。

   >>> import urllib.request as request
   >>> url = ''
   >>> headers = ('User-Agent','Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11')
   >>> opener = request.build_opener()
   >>> opener.addheaders = [ headers ]
   >>> origin_bytes = opener.open( url ).read()
   >>> origin_string = origin_bytes.decode( 'utf-8' )

   其中headers可以从浏览器的调试工具中看到，比如firefox中的firebug，可以复制curl内容进行分析。