python解析常用库的语法
xpath





Beautifulsoup
'''
html_doc = """
The Dormouse's story 
 
The Dormouse's story
Once upon a time there were three little sisters; and their names were
Elsie,
Lacie
and
Tillie;
and they lived at the bottom of a well.
...
'''
soup = BeautifulSoup(html)#创建对象
print(soup.prettify())#打印一下 soup 对象的内容，格式化输出
print(soup.title)# 输出第一个 title 标签
print()#输出第一个 title 标签名称
print(soup.title.string)# 输出第一个 title 标签的包含内容
print(soup.p['class'])# 输出第一个 p 标签的 class 属性内容
print(soup.get_text())# 获取所有文字内容
print(soup.find_all('a'))# 输出所有的 a 标签，以列表形式显示
print(soup.a.attrs)# 输出第一个 a 标签的所有属性信息
for child in soup.p.children:
# 对soup.p的子节点进行循环输出
print("对soup.p的子节点进行循环输出", child)
for tag in soup.find_all(re.compile(r"b")):
# 正则匹配，名字中带有b的标签
print()
四大属性
Tag (HTML 中的一个个标签)
NavigableString (获取标签内部的文字 .string)
BeautifulSoup
Comment
遍历子节点：
.contents
.children
遍历子孙节点：
.discendents
节点内容
.string
.strings
父节点
.parent
.parents
兄弟节点
.next_siblings
函数
find_all(传输)
name
keyword
text
list
方法
re
检索：
. 匹配任意字符(不包括换行符)
^ 匹配开始位置，多行模式下匹配每一行的开始
$ 匹配结束位置，多行模式下匹配每一行的结束
* 匹配前一个元字符0到多次
+ 匹配前一个元字符1到多次
? 匹配前一个元字符0到1次
{m,n} 匹配前一个元字符m到n次
\ 转义字符，跟在其后的字符将失去作为特殊元字符的含义，例如\.只能匹配.，不能再匹配任意字符
[] 字符集，一个字符的集合，可匹配其中任意一个字符
| 逻辑表达式 或 ，比如 a|b 代表可匹配 a 或者 b
(...) 分组，默认为捕获，即被分组的内容可以被单独取出，默认每个分组有个索引，从 1 开始，按照"("的顺序决定索引值
(?iLmsux) 分组中可以设置模式，iLmsux之中的每个字符代表一个模式,用法参见 模式 I
(?:...) 分组的不捕获模式，计算索引时会跳过这个分组
(?P...) 分组的命名模式，取此分组中的内容时可以使用索引也可以使用name
(?P=name) 分组的引用模式，可在同一个正则表达式用引用前面命名过的正则
(?#...) 注释，不影响正则表达式其它部分,用法参见 模式 I
(?=...) 顺序肯定环视，表示所在位置右侧能够匹配括号内正则
(?!...) 顺序否定环视，表示所在位置右侧不能匹配括号内正则
(?<=...) 逆序肯定环视，表示所在位置左侧能够匹配括号内正则
(?
(?(id/name)yes|no) 若前面指定id或name的分区匹配成功则执行yes处的正则，否则执行no处的正则
\number 匹配和前面索引为number的分组捕获到的内容一样的字符串
\A 匹配字符串开始位置，忽略多行模式
\Z 匹配字符串结束位置，忽略多行模式
\b 匹配位于单词开始或结束位置的空字符串
\B 匹配不位于单词开始或结束位置的空字符串
\d 匹配一个数字， 相当于 [0-9]
\D 匹配非数字,相当于 [^0-9]
\s 匹配任意空白字符， 相当于 [ \t\n\r\f\v]
\S 匹配非空白字符，相当于 [^ \t\n\r\f\v]
\w 匹配数字、字母、下划线中任意一个字符， 相当于 [a-zA-Z0-9_]
\W 匹配非数字、字母、下划线中的任意字符，相当于 [^a-zA-Z0-9_]