视频处理技术想必大家都有所了解,现在每天都会涌现出大量新的视频处理模型,它们有的能够超分、降噪,有的能够做目标检测、跟踪、识别,加上一些前端技术就能实现很多炫酷的功能。但是现在大多数模型都是单任务模型,想要同时对一个视频进行多项操作并不方便。尤其是在和视频编码结合方面有个天然鸿沟,主流的模型框架是用python语言而视频编码器都是用c/c++,两者结合并不方便,需要先对视频进行预处理产生输出,然后对输出编码,两个流程手动处理很麻烦。近期关注到腾讯云数字生态大会发布了媒体处理产品的2.0升级,我发现了腾讯云媒体处理MPS2.0很好的解决了这个问题,通过配置流水线就可以方便的对视频进行各种处理,就去官网开通体验了一下。
使用方法
使用指引
可以通过控制台创建工作流,对上传的视频按照预置流程进行处理,整个过程操作简单。
https://cloud.tencent.com/product/mps
https://cloud.tencent.com/document/product/862
https://cloud.tencent.com/login?s_url=https%3A%2F%2Fconsole.cloud.tencent.com%2Fmps
控制台操作
腾讯云媒体处理MPS控制台操作非常简单,无需技术背景,只需通过点击操作即可创建服务,我们实际操作试试吧。注册腾讯云账号并完成实名认证后,登录腾讯云官网,选择 云产品 > 视频服务 > 媒体处理,进入媒体处理控制台。
首先在【授权管理】窗口进行授权
由于所有的文件都需要放到对象存储COS存储桶中,所以需要购买存储资源,腾讯云对新用户赠送了免费资源,领取完资源我们就可以根据需要建立一个存储桶bucket了。
完成bucket建立后我们就可以构建服务了,整个服务类似一个流水线,流水线的每个节点都可以根据需求添加特定功能,平台针对每个功能都提供了模板,我们可以直接使用模板也可以自己定制模板,我们通过构建服务来处理一段老视频来看看如何从头构建一个流水线,这段视频是480p,25fps的,我们通过流水线将其处理为720p,30fps。
进入【媒体处理】页面,可以看到左侧模板管理项下面有很多模板,首先进入音视频转码模板 > 极速高清模板
进入模板创建页面按照需求填上参数,
另外,为了对视频进行保护我们想给视频添加水印,进入水印模板,根据需求上传水印图片和水印的位置、透明度等参数。
还可以创建截图模板,这样系统就会自动识别关键帧并截图出来,
还可以创建审核模板进行视频的涉黄、涉暴检测(维护良好文明的网络环境人人有责)
最后创建音视频增强模板对视频进行超分处理。
以上我们创建了不同功能的模板,但是它们还不能工作,我们需要将它们连接起来构成一条流水线,当视频通过流水线经过每个节点时就可以进行相应处理了。
进入工作流 > 服务编排管理,创建服务编排。
首先给这个服务编排取个名字,由于文件都必须放在bucket中,所以还需要指定输入视频的bucket目录以及处理完的视频要存入的目录,这里我们都选中前面创建的bucket的根目录,这样当我们将视频传到bucket的根目录时就会自动触发处理。
还可以选中开启事件通知,事件通知能够在任务处理的流程中实时的同步任务的进展及状态。
最后就是配置最重要的流水线,单击需要添加功能的节点后方+,从功能浮层中选择需要添加的节点功能。选择添加功能后,流程图中将展示该节点,接下来需要对该节点进行详细信息的配置。单击节点上的编辑按钮,进入编辑弹窗,在该弹窗中可以选择该节点需要的详细功能及详细输出配置,这里我们直接选中前面定制好的模板。
最终的流水线就配置好了,
点击启动开启流水线,
现在就可以发起任务进行处理了,当前支持发起任务的方式有三种:API调用任务发起接口、在绑定服务编排的 COS 目录上传视频文件、通过任务管理 > 创建任务 手动创建任务。这里我们通过COS视频自动触发,
- 启用工作流后,进入 COS 控制台(https://console.cloud.tencent.com/cos5),单击左侧导航栏的 存储桶列表,进入“存储桶列表”页面。
- 找到在工作流中设置的触发 Bucket,单击对应的存储桶名称,默认进入“文件列表”页面,上传需要处理的视频文件,媒体处理服务将自动按照工作流中的设置处理新上传的视频。
注意:工作流的自动执行,只对工作流启用后新上传至触发 Bucket 的视频文件生效,之前存放在触发 Bucket 中的文件不会被处理。
我们上传视频,过一会儿刷新后即可看见处理后的视频和截图,
对比可以看见视频的分辨率从480p提升到720p,且帧率也由25fps升至30fps。
下面看看处理前后的视频,
处理前
处理后
可以看见,处理后视频更流畅也更清晰了画质也更好了,右下角水印也添加上了。平台还提供了很多模板和强大的功能,大家可以自己动手试试,DIY流水线实现各种处理。
使用体验
对于传统的开发者来说,要对一个内容进行多项处理开发过程非常繁琐,既要定义不同接口使数据在各个任务中能正常流动,还要考虑不同任务间的耦合性等。腾讯云媒体处理MPS很好的解决了这个问题,通过可编排的流水线来添加不同的任务,不需要考虑各节点间的数据传输问题,操作非常简单即使是非专业的人员也能很快上手。而且流水线提供了丰富的功能,通过不同模板的组合能满足绝大多数的使用场景,使用户即开即用无需二次开发。
腾讯云媒体处理MPS
腾讯云媒体处理(Media Processing Service,MPS)是一种云端音视频处理服务。它能够对视频智能处理提供极致的视听体验,还可以高效压缩降低视频传输和存储成本。
基于腾讯多年音视频领域的深耕,腾讯云提供了一整套音视频云媒体处理技术解决方案,能够提供极致的编码能力,大幅节约存储及带宽成本、实现全平台播放,同时提供视频截图、音视频增强、内容理解、内容审核等能力,满足各种场景下对视频的处理需求。
腾讯云-媒体处理MPS产品,在融合腾讯在音视频编码能力的优势以外,MPS2.0 在控制台使用易用性,API调用灵活性等方面都有深度重构优化。其中在控制台使用上,结合用户的使用场景做到了更直观、更开放、可编排、易操作。
整个媒体处理框架如下,腾讯云媒体处理 MPS 为各个业务场景下音视频处理需求提供解决方案,可以通过服务编排能力快速搭建出符合业务需求的媒体处理流程。
MPS提供了丰富的功能,满足不同媒体处理任务的需求,
音视频转码:支持极速高清转码、自适应码流转码、转封装等能力,能够在最大程度保持视频高清晰度的前提下大幅节约带宽及存储成本。
音视频增强:支持老片修复、插帧、超分、人脸增强、色彩增强等能力。
视频截图:支持时间点截图、采样截图、雪碧图截图、视频转动图等功能,满足各种场景下图片的使用及视频运营需求。
内容理解:支持内容识别(人脸、文本、语音)、内容分析(分类、标签、智能封面图),帮助您更好的对内容进行运营管理,提升视频使用效果。
内容审核:支持对内容进行涉黄检测、违法违规检测,快速准确的识别出内容的风险项,有效保障线上内容的安全性。
极速高清智能编码
视频作为网络媒体的主要载体,它体量大、更新速度快且质量良莠不齐,极致的用户体验和平台的传输存储成本是一对难以平衡的矛盾,对于内容平台来说总是希望用最少的成本给客户带来最好的体验,也就是视频越小越清晰越好,腾讯的极速高清智能编码解决方案很好的满足了这个需求,能够在保持视频画面质量不变的情况下节省50%的码率,降低视频传输存储成本。高性能的编码算法,支持8K视频的实时编码,融合超分辨率、HDR、拓宽色域等技术,提供极致的观看体验。
极速高清智能编码解决方案是一套功能完善的端到端解决方案,包含了前处理、编解码、后处理等各个环节,适用于直播、点播等场景,方便用户一站式使用,无需为了达到不同效果而在不同平台上不断切换。
而且腾讯云支持所有主流视频编码标准,包括H.264/AVC、H.265/HEVC、H.266/VVC、AV1等,同时腾讯还深度参与了最新一代视频编码标准H.266/VVC的制定工作,拥有超过100项专利,满足不同终端的编解码需求。
对不同场景的视频都有高效的压缩能力,对下面的电影场景压缩前码率是5Mbps,压缩后码率是1.4Mbps,压缩率达到72%,对下面的在线会议压缩前码率是573kbps,压缩后码率是67kbps,压缩率达到88%。
源视频 5Mbps 1080p 转码后 1.4Mbps 1080p
电影场景
源视频 573kbps 转码后 67kbps
在线会议场景
画质增强
网络视频日渐丰富使得用户对视频质量也越来越挑剔,大众对于超高清、高饱和、强渲染、宽色域等需求越来越高。而网络上很多非专业团队制作的视频难以达到这个效果,这就需要画质增强技术进行后处理,画质增强是提升视频主观质量的重要技术,它不仅能够去噪、去模糊、去压缩噪声还能增强细节、增强色彩、SDR转HDR、超分辨率等。
使用腾讯的画质增强技术能明显改善视频主观质量,对于老片修复、视频超分、插帧等有很好的效果,使画质重生极大提高用户体验。下图左侧源视频分辨率为608x480,帧率为25fps,码率为4Mbps,经过画质增强后(右图)分辨率提高到2431x1920,帧率为50fps,码率降为3.5Mbps,且主观质量有明显改善。
丰富的媒体处理功能
腾讯云媒体处理提供了强大丰富的处理功能,能够覆盖媒体处理的采、编、识、审全流程的需求。而传统的处理方法可能需要一个庞大的团队、复杂的分工才能完成一个视频的全流程处理,这很耗费人力物力,通过使用腾讯云媒体处理能够极大的提高效率,快速生产出满足需求的媒体内容。
内容理解
腾讯云媒体处理可以做到智能的进行内容理解,无需人工干预就能识别分析视频中的内容并做相应处理,它能够自动的进行内容分析和内容识别,可以自动完成内容的智能分类、智能标签和智能封面以及人脸识别、语音识别、文字识别和语音翻译等。
内容分析能够分析出视频内容并进行归类,已在多个场景和产品中落地,其中视频分类支持19大类并支持类别定制,视频标签也支持自定义标签个数可辅助搜索推荐等,智能封面支持生成静态和动态封面,提升视频封面体验和点击转化率。
内容识别达到了业界领先水平,支持人脸、文字、声音、帧标签等多种目标的识别。
智能编辑
视频编辑是一项非常耗时耗力的工作,它需要专业人员从海量素材中挑选处理出符合大众口味的视频。智能编辑能够做到智能集锦、智能拆条、视频剪辑、直播录制,不需要专业的视频剪辑技术也能产出符合观众习惯的内容,帮助用户提高后期处理效率。
智能审核
腾讯云媒体处理还具备智能审核能力,包括安全审核和质量审核两方面。
安全审核能提供涉黄、涉暴检测等,提升对违规视频和灰色产业的打击效率,有效帮助客户规避业务风险,保障线上内容的安全性。
安全审核能够对图像、语音、字幕等各种媒体内容进行审核,检测出违法违规内容。
质量审核支持对视频内的图像和音频,以及广告二维码进行检测,直播延迟在2秒内。支持公有云和私有化交付,提供可视化操作系统。其中视频质量检测包括抖动重影、模糊、花屏、噪点等对观感影响大的内容。质量审核各项检测准确率均在80%以上,绝大部分准确率在90%以上。
此外,腾讯自研的视频编码器达到业界领先水平,并在最新一期MSU世界编码器大赛取得全部评分第一,同质量达到比第二名20+%编码增益;且在SLC(Streaming Learning Center) 发布的云厂商最新H.264 Per-title编码评测报告中,所参评的选项中获得全部最优。
购买方式
资源包文档:
https://cloud.tencent.com/document/product/862/77218
按量计费文档:https://cloud.tencent.com/document/product/862/36180