python Pydantic的query用法 python query方法

转载

IT智行者 2024-04-28 16:03:06

1、安装 pip install pyquery

2、官方文档： https://pythonhosted.org/pyquery/

3、初始化

（1）直接字符串 (pq 参数可以直接传入 HTML 代码，doc 现在就相当于 jQuery 里面的 $ 符号了)

from pyquery import PyQuery as pq
doc = pq("<html></html>")

（2）lxml.etree (可以首先用 lxml 的 etree 处理一下代码，这样如果你的 HTML 代码出现一些不完整或者疏漏，都会自动转化为完整清晰结构的 HTML代码)

from lxml import etree
doc = pq(etree.fromstring("<html></html>"))

（3）直接传URL (这里就像直接请求了一个网页一样，类似用 urllib2 来直接请求这个链接，得到 HTML 代码)

from pyquery import PyQuery as pq
doc = pq('http://www.baidu.com')

（4）传文件

from pyquery import PyQuery as pq
doc = pq(filename='hello.html')

4、提取内容

提取标签内容，用.text()

提取标签属性值，用.attr() (提取a标签的链接.attr('href'))

提取子孙节点内容用.text()，如果只提取子节点用.html()，可能提取出来的是子节点的整个标签

5、遍历用到 items 方法返回对象列表，或者用 lambda

from pyquery import PyQuery as pq
doc = pq(filename='hello.html')
lis = doc('li')
for li in lis.items():
    print li.html()
 
print lis.each(lambda e: e)

使用

from pyquery import PyQuery as pq

a = '''
<body>
    <h><a href='www.biaoti.com'>head</a></h>
    <p>段落1</p>
    <p>段落2</p>
</body>
'''

doc = pq(a)
# 提取标签内容
doc('h').text() # 'head'
doc('h').html() # '<a href="www.biaoti.com">head</a>'
doc('body').html() # '\n    <h><a href="www.biaoti.com">head</a></h>\n    <p>段落1</p>\n    <p>段落2</p>\n'
doc('p').text() # '段落1 段落2'
doc('p').text().split(' ') # ['段落1', '段落2']
doc('p:nth-of-type(1)').text() # '段落1'
doc('body').text() # 'head 段落1 段落2'

# 提取标签属性
doc('h a').attr('href') # 'www.biaoti.com'

6、识别标签

只根据标签来识别

找到所有名为a的标签
找到名为a或b的标签

a = '''
<body>
    <h1>head</h1>
    <h2>标题2</h2>
    <h2>标题3</h2>
</body>
'''

doc = pq(a)
doc('h1').text() # 'head'
doc('h1, h2').text() # 表示“或”用逗号 'head 标题2 标题3'

同时根据标签和属性识别

a = '''
<body>
    <h>标题</h>
    <p id='p1'>段落1</p>
    <p id='p2'>段落2</p>
    <p class='p3'>段落3</p>
    <p class='p3' id='pp'>段落4</p>
</body>
'''

doc = pq(a)
doc('p#p1').text() # '段落1'
doc('p.p3[id]').text() # 含有id属性
doc('p.p3#pp').text() # 使用多个属性筛选
doc('p[class=p3][id=pp]').text()
doc('p[class=p3], p[id=p1]').text() # 或的关系
doc('p[class=p3],[id=p1]').text() # 或者只用,隔开
doc('*#p1').text() # 不指定标签名

# 否定
doc('p:not([id])').text() # 不含有id属性
doc('body :not(p)').text() # 选出不是p的子节点  '标题'
doc('p:not(.p3)').text() # 选出class不是p3的
doc('p[id][id!=p2]').text() # 也可以用!=，这里选择有id且id不是p2的

# 类似正则表达式
doc('p[id^=p]').text() # 首端匹配
doc('p[id$=p]').text() # 尾端匹配
doc('p[id*=p]').text() # 包含

根据标签内内容来识别

a = '''
<p id='p1'>段落1</p>
<p class='p3'>段落2</p>
<p class='p3'>文章</p>
<p></p>
'''

doc = pq(a)
# :contains查找内容中包含某字符串的标签
doc('p:contains(段落1)').text() # '段落1'
doc('p:contains(段落)').text() # '段落1 段落2'
doc('p:contains("1")').text()

根据位置识别

a = '''<title>标题</title>
<body>
    <ul class='list1'>
        <li>列表1第1项</li>
        <li>列表1第2项</li>
    </ul>
    <p class='first'>文字1</p>
    <p class='second'>文字2</p>
    <ul class='list2'>
        <li>列表2第1项</li>
        <li>列表2第2项</li>
    </ul>
</body>'''

doc = pq(a)
doc('ul:nth-of-type(2) li').text() # 选择第二个ul下的所有li
doc('ul li:nth-of-type(2)').text() # 选择每个ul中第二个li
doc('ul li:even').text() # :even取偶数  :odd取奇数（这里索引第一个是0）
doc('ul li:first').text() # :first取第一个 :last取最后一个
doc('ul li:eq(0)').text() # 还有 lt gt 索引从0开始

与requests 使用

from pyquery import PyQuery as pq
import requests


session = requests.Session()
data = session.get("url")
jqdata = jq(data.text)

网页请求
PyQuery 本身还有网页请求功能，而且会把请求下来的网页代码转为 PyQuery 对象

from pyquery import PyQuery as pq
print pq('http://cuiqingcai.com/', headers={'user-agent': 'pyquery'})
print pq('http://httpbin.org/post', {'foo': 'bar'}, method='post', verify=True)

print(p.attr("id"))   #读取属性值
 print(p.attr("id", "plop"))   #设置属性值
 print(p.attr("id", "hello"))  #设置属性值print(p.addClass('beauty'))  #添加class
 print(p.removeClass('hello'))  #去除class
 print(p.css('font-size', '16px'))  #设置css值
 print(p.css({'background-color': 'yellow'}))  #通过列表设置css