寒衣VC的博客_H.266/VVC

基于神经网络的时域处理

本文来自提案JVET-V0090 《Neural network based temporal processing》，提出使用神经网络进行时域处理以增强输出图像的细节和预测图像的质量。简介在上篇文章中介绍了通过生成虚拟参考帧来提升运动预测质量的方法，但是参考帧的增加会提高计算复杂度。文中提出的时域处理模型不需要增加参考帧，通过对重建图像的处理既能提升输出图像的细节又能提高预测精度。它包

神经网络

深度学习

帧间预测

参考帧

时域

原创 2022-11-16 16:57:38 10000+阅读

DCC2022：高阶帧内预测

帧内预测是去除空域冗余的重要工具，它从上方或左侧重建像素中为当前像素选择参考像素，参考像素的具体位置由像素投影法获得，它通时导数是tan(beta)，代入公式可以求得参数a和b，Fig.2(a)是传统的帧内预测方法，Fig.2(b)是论文提出的高阶帧内预测方法（HOIP）。

帧内预测

高阶映射

ide

映射方式

插值

原创 2022-10-22 00:54:19 10000+阅读

DCC2022：环路滤波CCSAO

计算分类器中每个类别的offset时首先用上面公式对帧内重建像素进行分类，然后按照HEVC SAO中的方法为每个类别计算初始offset，

SAO

CCSAO

迭代

升序

微信公众号

原创 2022-10-01 00:47:03 10000+阅读

基于深度学习的环路滤波的消融实验

移除前的BD-Rate为-7.57%（表1第3行），这表明同时去掉划分信息和BS信息对帧内亮度模型

深度学习

环路滤波

消融实验

复杂度

网络层

原创 2022-09-17 07:15:42 10000+阅读

VVC码率控制改进

在VTM中，LD和RA配置的GOP size分别为32和8，固定SW不适合当前配置和将来扩展，因为提案根据GOP size下，......

码率控制

RC

码率

帧率

滑动窗口

原创 2022-09-12 09:45:12 10000+阅读

VCIP2021:利用解码信息进行超分辨率

本文来自VCIP2021《CNN-based Super Resolution for Video Coding Using Decoded Information》简介随着高分辨率视频的增多，给带宽受限的情况下视频传输带来了巨大的挑战。为了解决这个问题，可以采用重采样的编码方法，如Fig.1，视频在编码前先进行下采样，然后编码低分辨率的视频，解码端在解码后再进行上采样恢复原来的分辨率。AV1中就

深度学习

计算机视觉

RPR

SR

超分辨

原创 2022-09-04 11:43:06 10000+阅读

基于深度学习的环路滤波和残差缩放

本文来自提案JVET-X0066和JVET-Y0143，在JVET-W次会议中提出了基于深度学习的环路滤波

深度学习

人工智能

环路滤波

缩放

时域

原创 2022-09-03 00:29:28 10000+阅读

VVC码率控制中的质量依赖因子QDF

其中VTM中的码控主要做了两处改进，其一是在更新帧级参数时将s

VVC

QDF

码控

码率

依赖关系

原创 2022-08-13 00:47:39 10000+阅读

端到端图像编码和VVC的结合

提案提出了一种混合编码方法，对视频I帧使用端到端的图像编码器编码

端到端图像编码

编码器

码流

ide

原创 2022-08-07 00:33:57 10000+阅读

基于神经网络的帧内预测和变换核选择

在VTM-8.0上，allintra配置下YUV的BD-Rate分别为-3.36

神经网络

深度学习

帧内预测

预处理

转置

原创 2022-07-30 00:49:04 10000+阅读

使用基于SSIM的CNN进行环路滤波

本文来自提案JVET-T0069《SSIM based CNN model for in-loop filteri

cnn

深度学习

环路滤波

卷积

自适应

原创 2022-07-23 00:45:52 10000+阅读

基于Unet的环路滤波

本文来自大华在JVET工作组的提案JVET-Y0086《A Unet-B

深度学习

环路滤波

loop filter

微信公众号

ide

原创 2022-07-21 22:54:41 10000+阅读

基于深度学习的参考帧生成

本文来自提案JVET-T0058和JVET-U0087，该方法通过插帧的方法生成虚拟参考帧用于帧间预测

深度学习

参考帧合成

插帧

参考帧

光流

原创 2022-07-10 00:32:55 10000+阅读

VCIP2021:基于神经网络的双向预测blending过程

本文来自VCIP2021论文《Neural Network based Inter bi-prediction

神经网络

深度学习

BDOF

权重

复杂度

原创 2022-06-19 01:13:50 10000+阅读

视频压缩数据集TVD

基于学习的视频压缩和视频分析任务在学术界和工业界蓬勃发展，对于相关研究工作和标准制定工作急

计算机视觉

机器学习

人工智能

TVD

ide

原创 2022-06-12 00:55:02 10000+阅读

VCIP2021:GDR中使用HMVP

本文来自VCIP2021论文《HMVP for GDR of VVC》为了适应低延迟场景VVC支持GDR图像，GDR图像由clee和AMVP，这两种方法对

GDR

HMVP

VVC

微信公众号

编码器

原创 2022-06-12 00:13:56 10000+阅读

基于神经网络的运动补偿增强

本文来自阿里巴巴在JVET Z次会议上的提案JVET-Z0074《NeuralNetwork Based Motion Compensati

神经网络

cnn

运动补偿

卷积

原创 2022-06-06 11:05:25 10000+阅读

ICIP2021：基于CNN的环路滤波

AO、Deblocking、ALF来减少压缩失真，但是手工设计的滤波器难以处理复杂的压缩失真。论文提出基于CNN的环路滤波技术来提升VVC中I帧的质量。网络输入包括从重建像素中提取的特征以及划分、预测信息，对于色度分量的输入还包括亮度像素。Input整个网络结构如Fig.1所示，其中输入部分在图的左侧。输入包括重建信息、划分信息以及预

计算机视觉

深度学习

人工智能

卷积

微信公众号

原创 2022-05-25 08:40:05 10000+阅读

ICIP2021：VVC RPR参考结构改进

本文来自ICIP 2021论文《An Enhanced Reference Structure For Referencr Picture Resampling In VVC》参考图像重采

RPR

参考帧

自适应

重采样

原创 2022-05-14 19:30:02 10000+阅读

360视频：二十面体投影ISP

和正八面体OHP投影类似，二十面体投影(ISP，Icosahedron projection format)采用二十面体作为投影模型。ISP也支持紧凑型和

ISP

360视频

二十面体

v8

v9

原创 2022-04-15 15:03:15 10000+阅读

360视频：旋转球面投影RSP

旋转球面投影（Rotated sphere projection，RSP）将球体分为两个相同的部分，然后投影到平面上，宽高比3：2。图1 RSP投影

360视频

RSP

2d

3d

分割线

原创 2022-04-15 15:03:05 10000+阅读

360视频：分段球面投影SSP

分段球面投影（Segmented sphere projection，SSP）将球面分为3个部分：北极、南极、赤道。图1是SSP投影示意方

SSP

360视频

分段球面投影

ide

2d

原创 2022-04-15 15:02:32 10000+阅读

360视频：金字塔棱台投影TSP

金字塔棱台投影（Truncated square pyramid projection format，TSP）投影模型是棱台。TSP的投影平面如图1所示，投影后的六个面组成矩形平

TSP

360视频

棱台投影

2d

微信公众号

原创 2022-04-15 15:02:09 10000+阅读

端到端视频编码：DVC

开源代码地址：https://github.com/GuoLusjtu/DVCDVC是一个端到端的视频编码模型，之前也有过一些基于DNN的视频编码方法，但是通常是使用DNN模型替换视频编码的某个模块，整体的训练流程不是端到端的。DVC将传统的基于块的编码框架的所有模块都使用神经网络替换，图1(a)是传统的视频编码框架，图1(b)是DVC框架。图1

DVC

码率

运动补偿

编解码

原创 2022-04-15 15:01:35 10000+阅读

360视频：分段球面投影SSP

分段球面投影（Segmented sphere projection，SSP）将球面分为3个部分：北极、南极、赤道。图1是SSP投影示意图，球面上三个部垂直方

SSP

360视频

视频投影

ide

2d

原创 2022-04-15 14:46:50 10000+阅读

360视频：正八面体投影OHP

CMP投影是将球体投影到正方体上，但是透视投影过程不改变立体角的大小，即对应于球面上等立体角的两点，投影到立方体上后会出现中心区域密度高而边缘区域密度低的现象，导致投影均匀性较差。当使用的投影体和球体越接近时投影的均匀性越好，正八面体投影(Octahedron proj

OHP

360度

2d

ide

3d

原创 2022-03-30 18:27:53 10000+阅读

360视频：CMP和ACP投影

CMP投影立方体投影格式(Cubemap projection format,CMP)是通过将球面内容投影在立方体模型上后将各个面展开，然后拼接为矩形的一种投影方式。和ERP不同，CMP采用正方体进行投影，内容会投影到6个面上，如图1所示。图1 CMP投影6个面编号PX、PY、PZ、NX

CMP

立方体投影

2d

3d

ide

原创 2022-03-30 18:24:11 10000+阅读

360视频简介及ERP投影

360°视频，也称全景视频、VR视频，是一种立体视频格式，和普通的2D视频在平面上展开不同，360视频是在球体上展开，JVET成了了专门的工作组研究360视频的编码。JVET还提供了360Lib参考软件用于360视频的投影格式转换和质量评价等。360Lib用c++

360度视频

ERP

视频投影

投影

ide

原创 2022-03-30 18:23:47 10000+阅读

像素级BDOF

前面讲过BDOF是VVC新增的帧间预测工具，它由JEM中的BIO发展而来。BDOF基于光流的概念它假设物体的运动是平滑的。对于每个4x4的子块，通过使L0和L1的预测值的差值最小来计算运动修正量(Vx,Vy)，然后用计算出来的运动修正值来调整4x4子块的双向

BDOF

滑动窗口

微信公众号

运动向量

原创 2022-03-30 18:23:13 10000+阅读

基于模板生成帧内模式TIMD

TIMDTIMD(template-basedintra mode derivation)是一种新的帧内预测模式，它由DIMD（decoder-sideintra mode derivation）发展而来。TIMD模式由MPM中的候选模式和模板生成。如上图所示，当前CU的左侧和上方区域构成当前CU的模板，模板附近是其参考像素

TIMD

FTIMD

sed

ide

参考文献

原创 2022-03-30 18:22:41 10000+阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

mb60e54a17708bc的博客

基于神经网络的时域处理

DCC2022：高阶帧内预测

DCC2022：环路滤波CCSAO

基于深度学习的环路滤波的消融实验

VVC码率控制改进

VCIP2021:利用解码信息进行超分辨率

基于深度学习的环路滤波和残差缩放

VVC码率控制中的质量依赖因子QDF

端到端图像编码和VVC的结合

基于神经网络的帧内预测和变换核选择

使用基于SSIM的CNN进行环路滤波

基于Unet的环路滤波

基于深度学习的参考帧生成

VCIP2021:基于神经网络的双向预测blending过程

视频压缩数据集TVD

VCIP2021:GDR中使用HMVP

基于神经网络的运动补偿增强

ICIP2021：基于CNN的环路滤波

ICIP2021：VVC RPR参考结构改进

360视频：二十面体投影ISP

360视频：旋转球面投影RSP

360视频：分段球面投影SSP

360视频：金字塔棱台投影TSP

端到端视频编码：DVC

360视频：分段球面投影SSP

360视频：正八面体投影OHP

360视频：CMP和ACP投影

360视频简介及ERP投影

像素级BDOF

基于模板生成帧内模式TIMD