文 | 太阳雪

来源:Python 技术「ID: pythonall」

前几天,極光同学写了篇下载王者荣耀皮肤的文章,可以轻松的获取各种英雄背景图,甚是激动,也想将桌面背景换成漂亮的,不过我对王者荣耀不感冒(曝露年龄啦),时常会被必应搜索主页的背景图所震撼,于是想到从必应获取桌面壁纸,并且排除掉自己不喜欢的图片,应该是个不错的主意,说干就干

问题分析

必应每天都会有新的壁纸,大都是自然风光、人文地理等等,非常漂亮,在页面上点击右键,保存背景图片,就能简单的保存下来。但是总是这么干,不是个好办法,最好能自动化。

自动化中,图片下载很简单,只要找到背景图片链接,下载保存即可。

但并非所有的图片都合乎自己的口味,怎么才能只选自己喜欢的图片呢?于是想到用图像识别,再加对识别结果的判断,从而得到是否合适的判断

经过分析,大概的处理流程是:先下载图片,进行图像识别,对得到的结果进行分析,对于合乎要求的,保存到桌面背景文件中。

重点是图像识别和结果判断,先从核心问题开始。

图像识别

图像识别属于机器学习或者人工智能的部分,需要相应的算法和资料库来训练识别模式,是个比较繁杂的工作,好在各大云服务商都提供了图像识别接口,可以轻松做到。最终选用百度的综合图像识别 API 来处理

申请服务

需要先创建帐号,然后选择服务,购买服务,购买服务是免费的,使用到一定频率是需要收费的,对于目前场景来说,免费的完全够用 购买服务后,可以用服务创建一个项目,随便写些项目信息,创建好后,就能得到 App key 和Secret,即调用服务的凭证,需要妥善保管

编写接口

调用识别 API 之前需要先得到 accessToken,获取代码如下:

import httpx

def getAccessToken():
    clientId = '<换成你的 clientid>'
    clientSecret = '<换成你的 clientsecret>'
    host = 'https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=%s&client_secret=%s' % (clientId, clientSecret)
    response = httpx.get(host)
    if response.status_code == 200:
        ret = response.json()
        return ret.get('access_token')
    else:
        raise "获取AccessToken失败:" + str(response.status_code)
  • 引入 httpx,一个与 requests 类似的库
    
  • 获取 accesstoken 请求结果是 json,直接调用 Response 对象的 json 方法将结果转为 Dict 对象
    
  • 从结果中获取 access_token 并返回
    
  • 如果出现请求错误,返回错误码
    
accessToken 的默认有效期为 30 天,所以没必要每次请求都获取,所以最好将 accessToken 缓存起来,不必每次调用都获取,鉴于当前的业务场景,每天查下一次,就没必要缓存了,如果有兴趣可以自己实践下

有了 accessToken 就可以编写图像识别了,代码如下:

import base64
import httpx

def imageRecognition(image):
    img = base64.b64encode(image)
    params = {"image":img}
    access_token = getAccessToken()
    request_url = "https://aip.baidubce.com/rest/2.0/image-classify/v2/advanced_general?access_token=" + access_token
    headers = {'content-type': 'application/x-www-form-urlencoded'}
    response = httpx.post(request_url, data=params, headers=headers)
    if response.status_code == 200:
        return response.json().get("result")
    else:
        raise "获取AccessToken失败:" + str(response.status_code)
  • 接收一个图片参数,因为图片是从网站上下载的,所以参数类型为二定制数据
    
  • 由于图像识别接口需要需要上传图片,必须是 base64 格式,所以将图片数据转换为 base64 数据格式
    
  • 在得到的结果中,提取 result 并返回
    
result 是 JSON 数据,结构如下:

[{
  'score': 0.819942,
  'root': '自然风景-天空',
  'keyword': '天空'
}, {
  'score': 0.64795,
  'root': '自然风景-海洋',
  'keyword': '海洋'
}, {
  'score': 0.475835,
  'root': '非自然图像-图像素材',
  'keyword': '风景矢量图'
}, {
  'score': 0.265258,
  'root': '非自然图像-图像素材',
  'keyword': '雪花背景'
}, {
  'score': 0.08247,
  'root': '非自然图像-图像素材',
  'keyword': '气泡'
}]
  • score 为得分,表示百分比,就是识别程度,比如 0.82 表示确认度为 82%
    
  • root 为识别分类
    
  • keyword 为识别关键字,即对图像元素中识别定义
    

图像判别

得到了图像识别结果,如何从结果中得到是否符合要求呢?经过探索和实践,用以下方法来解决:

先将自己喜欢的图像整体识别一次,获取到得分为 0.5 以上的关键字,组成一个数组(这个过程相当于机器学习),去重后,得到一下特征描述:

keywords = ['植物', '树', '天空', '阳光','霞光', '晚霞', '海洋', '大海', '森林', '湖泊', '草原', '沙漠', '高山', '瀑布']

然后,需要一个计算公式对图片做整体打分,设置一个分值作为判定条件,就可以挑选出符合自己胃口的图片了,算法如下:

import difflib

score = 0
for r in result:
    # 进行对比
    for k in keywords:
        root = r.get('keyword', '')
        ratio = difflib.SequenceMatcher(None, root, k).ratio()
        mscore = r.get('score')
        score += mscore*ratio

部分识别过程如下,标记了的是得分项:

识别过程

主要过程是,从结果中提取 keyword,和每个自己喜欢的描述去比较,得到一个相似度,然后与识别得分相乘,得到一个特征相对于一个关键描述的得分,将所有特征的分值相加,就得到了这个图像的整体得分,从而得到判断依据

这里的关键是如何比较两个描述的相似程度,相似程度并非是否相等,相似程度是一个 0 ~ 1 之间的数,用 Python 自带 difflib 模块 SequenceMatcher 来解决

SequenceMatcher 有三个参数,第一个参数是一个 lambda 表达式,可以理解成一个简写的回调函数,作用是排除掉不需要对比的字符串,例如排除掉空格的写法为x:x==' ',不用排除的话,传入 None

通过对测试图片的对比,符合胃口的图片综合得分值在 0.8 到 9.9 之间,分值越大,表示有多个元素符合要求,为了照顾图片识别的失误,以及数值化过程中的误差,将判断值设定为 0.5, 也就是综合评分大于等于 0.5 的就认为是自己喜欢的,当然这只是个经验值,可以根据自己的经验调整

如果符合要求,就对图片进行保存,代码如下:

with open(r"C:\Users\alisx\Pictures\Saved Pictures\bing_%s.jpg" % datetime.date.today(), 'wb') as f:
    f.write(image)

图像获取

解决了图像识别问题,获取图像就是小菜一碟,直接上代码:

def grabImage(file=None):
    if file:
        image = Image.open(file)
        output_buffer = io.BytesIO()
        image.save(output_buffer, format='JPEG')
        return output_buffer.getvalue()
    else:
        rsp = httpx.get("https://cn.bing.com/")
        bs = BS(rsp.content, "html.parser")
        bglink = bs.find("link").get("href")
        url = str(rsp.url) + bglink
        image = httpx.get(url).content
        return image
  • 参数 file,是为了测试方便,测试是提供本地图像的路径,grabImage 方法会将其转换为二定制数据,以到达抓取图片的效果
    
  • 当不提供 file 参数时,会从必应中获取,通过解析页面数据,获取背景图片的 url
    
  • 将图片通过 httpx 下载后,返回图片的二进制数据
    

这里并没有将图片存储到硬盘上,因为获取到的图片需要经过判定,只有符合要求的才会被保存,不符合要求的直接丢弃掉

识别效率

通过上面的过程就可以获得自己喜欢的背景图片了,但背景图片一般比较大,可能会导致识别效率较低,所以需要将图片处理下,以提高上传和识别效率

经过测试,将图片设置为原来图片的一半比较合适,所以在下载到图片后,需要对图片进行加工处理,代码如下:

from PIL import Image
# 压缩图片
img = Image.open(io.BytesIO(image))
x, y = img.size
x_s = round(x/2)
y_s = int(y * x_s / x)
out = img.resize((x_s, y_s), Image.ANTIALIAS)

# 图片转码
output_buffer = io.BytesIO()
out.save(output_buffer, format='JPEG')
byte_data = output_buffer.getvalue()
  • 下载的图片是二进制数据,所以将其转换为 IO 序列,使之可以像文件一样打开
    
  • 打开得到 image 对象后,获取图片高度 (y) 和宽度 (x)
    
  • 计算出宽度的一半,并且计算出等比例的高度
    
  • 最后用 resize 方法对图像进行压缩
    
  • 压缩完后得到新的 image 对象,再将内容转换为 IO 序列,最后获得图片的二进制码
    

经过转换后,再调用图像识别接口,会快很多

这个压缩过程比较简单,如果更精细一些,可以对图像的大小进行判断,对于不同大小的图像做不同的处理,不过在此场景下,作为背景的图像都差不多,所以采用固定的处理方式

总结

今天的实践虽然很小,但涉及到爬虫、图像识别、机器学习(虽然只是手工过程)、图像评价等,将很多单独的技术组合起来,就能解决个性化图像筛选问题,就像 SpaceX 一样,每个技术都不是业内顶尖的,但合理的组合,就能发挥更大的价值。文章中为了符合思维习惯,对代码做了解构,代码示例中有完整的代码,欢迎参考研究,有问题欢迎加入微信群进行交流,支持作者,请点在看

参考

  • https://www.cnblogs.com/li1992/p/10675769.html
    
  • https://www.jianshu.com/p/2ff8e6f98257xamples/tree/master/taiyangxue/background