grafana花瓣中Value mapping如何设置花瓣软件怎么用

转载

langrisser 2024-03-26 06:07:07

grafana花瓣中Value mapping如何设置花瓣软件怎么用_算法

MindSpore Lite是MindSpore全场景AI框架的轻量级AI引擎，本文介绍MindSpore Lite在19亿安装量的视频编辑软件花瓣剪辑上的应用，是MindSpore 人工智能技术应用系列第三篇，也欢迎您发布基于MindSpore的应用。

01 使用MindSpore Lite的优势

极致性能

高效的内核算法和汇编级优化，支持CPU、GPU、NPU异构调度，最大化发挥硬件算力，最小化推理时延和功耗。

轻量化

提供超轻量的解决方案，支持模型量化压缩，模型更小跑得更快，使能AI模型极限环境下的部署执行。

全场景支持

支持iOS、Android等手机操作系统以及LiteOS嵌入式操作系统，支持手机、大屏、平板、IoT等各种智能设备上的AI应用。

高效部署

支持MindSpore/TensorFlow Lite/Caffe/Onnx模型，提供模型压缩、数据处理等能力，统一训练和推理IR，方便用户快速部署。

02 花瓣剪辑和MindSpore Lite的结合

如今手机强大的拍照、摄影功能丰富了大家的日常社交，通过照片、短视频来记录自己的生活，分享美好。照片和短视频趣味性玩法极大刺激了用户对照片和视音频剪辑的诉求，华为2021年推出花瓣剪辑App。花瓣剪辑APP作为一款全新的视频编辑软件，应用华为前沿AI技术，以MindSpore Lite作为AI引擎为视频创作与剪辑爱好者提供强大的视频编辑功能, 如目标追踪拍摄、目标遮挡拍摄、智慧滤镜、分离音轨等功能，让用户拍得精彩，剪得更精彩。更多花瓣剪辑介绍见这里

（https://consumer.huawei.com/cn/mobileservices/petalclip/）

grafana花瓣中Value mapping如何设置花瓣软件怎么用_算法_02

花瓣剪辑的每个功能背后都有若干个深度学习模型在使能，粗略统计滤镜，头发分割，目标跟踪，头发染色，人像分割，伴奏分离这几个功能用到的模型大小已经超过200MB，不仅给App 上线带来困难，而且占用用户更多的网络带宽与手机物理存储资源。如何让这些AI算法在终端设备上高效执行呢？

grafana花瓣中Value mapping如何设置花瓣软件怎么用_计算机视觉_03

03 神经网络后量化技术应用

说到模型小型化，我们肯定会想到量化技术，随着物联网的兴起和移动设备的普及，越来越多的AI应用部署到边缘设备和移动设备，硬件资源的限制给深度神经网络在这些端侧设备上的推理性能和效率带来了不小的挑战。另一方面，为了满足各种AI应用的要求，深度神经网络正在往结构更复杂、参数更多的方向发展，复杂的网络固然具有精度优势，但巨大的存储空间(ROM)和计算资源(RAM/POWER)消耗也使其难以在端侧设备上进行应用和部署。

模型压缩就是应对该类问题衍生出的技术之一。通过对神经网络模型量化，将模型权重或激活用8bit或者更低bit位表示，能够有效减少模型大小，从而降低对端、边缘侧设备部署时物理存储空间、算力等硬件资源的要求，实现基于深度神经网络的AI应用在端边缘侧设备上广泛部署。

由于神经网络不同层的参数规模不同，信息冗余程度不同，因此对量化损失的敏感度也不同。一种直观的想法是：对损失敏感度较高的层用更高的比特位表示，将损失敏感度较低的层用更低的比特位表示。MindSpore Lite引入量化误差损失函数作为目标优化函数，根据神经网络的数据分布情况，自动搜索当前层量化精度损失最小的比特位，能够有效在压缩率和精度之间达到细粒度的trade-off，同时结合biasCorrection，对量化模型精度损失进行补偿校正，最后采用无损稀疏压缩编码，如有限状态熵(FSE), 稀疏值压缩，稀疏索引压缩等，对模型进一步压缩。

grafana花瓣中Value mapping如何设置花瓣软件怎么用_算法_04

MindSpore Lite 已经在1.5版本开源了混合bit量化压缩功能，用户不需要模型重训，一键转换使用简单，即可实现最大压缩率。通过混合bit量化技术，花瓣剪辑中使用的各类AI模型均已实现了5x+压缩率，像人像分割网络的压缩率更是高达51x，而量化模型精度损失很少甚至接近无损。

grafana花瓣中Value mapping如何设置花瓣软件怎么用_人工智能_05

最新花瓣剪辑版本已经在华为P50/Nova以及鸿蒙OS等系列手机中发布，其中智慧滤镜和分离音轨等AI能力是两个非常受用户青睐的实用功能。如果是非专业用户，视频剪辑、调色等后期处理会很麻烦，复杂的颜色参数完全不是普通用户能轻松搞定的。如果想让视频整体变成复古风格怎么办呢？用智慧滤镜轻松搞定。此外，剪辑时还能将视频与音频分离，换成用户喜欢的音频主题风格，实现更加炫酷的视频效果。

grafana花瓣中Value mapping如何设置花瓣软件怎么用_算法_06