视频语言调查-VATEX: A Large-Scale, High-Quality Multilingual Dataset for Video-and-Language Research

论文地址：​​https://arxiv.org/pdf/1904.03493.pdf​​

摘要

我们展示了一个新的大尺度多语言视频描述数据集。VATEX包含41250个视频和82，500描述使用英文和中文。在所有描述中，有超过206，000英文-中文平行转换对。对比广泛使用MSR-VTT数据集，VATEX是多语言的，较大，语言复杂的，种类繁多对于视频和自然语言描述上。我们也介绍两个任务对视频和语言研究基于VATEX，（1）多语言视频描述，主要在描述一个视频使用多种语言在一个紧凑统一的描述模型，（2）视频导向机器翻译，来转换一个源语言描述到目标使用视频信息作为另外时空内容。外部实验在VATEX数据集展示，首先统一多语言模型不能只是制造英语和汉语描述对一个视频较有效，而且提供提高性能的单语言的模型。另外，我们证明时空的视频内容能够有效的利用对齐源和目标语言，以及有助机器翻译。最后，我们讨论潜在的使用VATEX对于其它视频语言研究。

表明VATEX任务

VATEX数据集

与当前视频表述数据集对比

数据图表展示对比

多语言视频解释模型

视频导向机器翻译模型

更多《计算机视觉与图形学》知识，可关注下方公众号：