继武G5的博客_多模态

CM-BERT: Cross-Modal BERT for Text-Audio Sentiment Analysis 阅读笔记

前言多模态情感分析是一个新兴的研究领域，旨在使机器能够识别、解释和表达情感。通过跨模态交互，我们可以得到说话人更全面的情感特征。（BERT）是一种有效的预训练语言表示模型。然而，以往的研究大多只基于文本数据，如何通过引入多模态信息来学习更好的表示仍然值得探索。在本文中，我们提出了跨模态的BERT（CM-BERT），它依赖于文本和音频模态的交互来微调预先训练好的BERT模型。作为CM-BERT的核心单元，, masked multimodal attention 通过结合文本信息和音频模态信息来动态调整单

bert

自然语言处理

情感分析

模态

权重

原创 2021-11-11 10:43:38 728 阅读

TEASEL: A Transformer-Based Speech-Prefixed Language Model 论文阅读

前言好吧我又来更新sota 论文了这个是多模态情感分析的sota 而且和第二名相差很大。摘要多模态语言分析是NLP的一个新兴领域，旨在同时建模说话人的单词语义、语音和面部表情。在这方面，语义通常优于其他模态，因为它们是通过基于Transformer的模型在大型语料库上预先训练的。尽管他们的表现很好，但由于数据不足，在任何模型上训练一个新的自监督学习（SSL）Transformer通常是不可能实现的，这在多模态语言学习中就是如此。这项工作提出了一个基于Transformer的语音前缀语言模型，

transformer

语言模型

自然语言处理

模态

特征提取

原创 2021-11-11 10:43:37 416 阅读

多模态情感分类论文阅读笔记 Integrating Multimodal Information in Large Pretrained Transformers

作者创造了一个组件MAG，用于使BERT 或者 XLNet这种预训练的模型能对多模态的信息进行 Fine-tune组件的结构如下：MAG的主要思想在于：非语言模态（其它两个模态）会影响词汇的意义，进而影响向量在语义空间中的位置，

ACL2020

多模态

情感分类

模态

偏移量

原创 2021-08-27 15:04:55 584 阅读

Semi-supervised Multi-modal Emotion Recognition with Cross-Modal Distribution Matching 阅读笔记

Semi-supervised Multi-modal Emotion Recognition with Cross-Modal Distribution Matching 、特征提取部分BERT-large 1024维DenseNet 342OPENsmile 1582z-normalization （怀疑就是这个导致准备率不高，测试一下）DAE部分对于视觉和文字，

多模态

半监督学习

情感分析

模态

sed

原创 2021-08-27 15:04:40 281 阅读

多模态阅读笔记 Noise Estimation Using Density Estimation for Self-Supervised Multimodal Learning

Noise Estimation Using Density Estimation for Self-Supervised Multimodal Learning这篇文件讲的是，按照现有多模态的任务，往往会出现噪音的问题，噪声使得模型一直得不到最好结果，而这篇文章提出一个去噪方法，自监督的去训练一个去噪模块来消除噪声，

多模态

模态

去噪

数据

监督学习

原创 2021-08-27 15:04:02 831 阅读

阅读笔记 M3ER: Multiplicative multimodal emotion recognition using facial, textual, and speech cues

M3ER: Multiplicative multimodal emotion recognition using facial, textual, and speech cues模型总体结构我们使用三种模态特征，即语音，文本和面部特征。、流程如下：提取特征以从原始输入is，if和if（紫色框）中获取fs，ft，ff。检查特征向量是否有效。

多模态

情感分析

三模态

模态

特征向量

原创 2021-08-27 15:03:45 377 阅读

Gated Mechanism for Attention Based Multi Modal Sentiment Analysis 阅读笔记

GATED MECHANISM FOR ATTENTION BASED MULTIMODAL SENTIMENT ANALYSIS 阅读笔记最近在跟进多模态的情感分析发现多模态榜一又被刷下来了，这篇论文是当前时间内的最好的效果，下面就对论文的模型结构以及实验细节，和我自己的心得来做一个笔记。

多模态

情感分析

CMU-MOSI

深度学习

NLP

原创 2021-08-27 15:03:25 777 阅读

阅读笔记 A Deep Multi-Level Attentive network for Multimodal Sentiment Analysis

前言论文讲的是两个模态的情感分析，作者提出一个网络，此网络通过在多个层次上引入注意力，从视觉和文本中产生区分性特征。通过利用视觉数据中的通道channel注意力和空间注意力来获得双注意力的视觉特征。总体来说用两个注意力 channel attention 和 spatial attention 注意力提高CNN 采集图像特征能力提出语义注意力

多模态

情感分析

模态

数据

物体检测

原创 2021-08-27 14:54:55 515 阅读

阅读笔记 CR-Net: A Deep Classification-Regression Network for Multimodal Apparent Personality Analysis

CR-Net: A Deep Classification-Regression Network for Multimodal Apparent Personality Analysis模型结构模型包括数据处理，特征提取，

个性分析

多模态

特征提取

数据

数据集

原创 2021-08-27 14:54:06 238 阅读

Multi-modal Multi-label Emotion Detection with Modality and Label Dependence 阅读笔记

背景这篇文章讲的是多标签的情感分析，这篇文章是考虑多模态的情感分析，因为是多标签所以需要考虑不同标签的依赖性，以及每个标签对不同模态的依赖性任务的具体例子是：给定一个视频，包括三个模态信息（视觉，文本，声音）然后给出情感倾向（可以是多个）文章指出多标签分类比单标签分类要更加难，以主要挑战是如何去对标签之间的依赖性进行建模

多模态

情感分析

多标签

模态

特征向量

原创 2021-08-27 14:47:07 414 阅读

Multistage Fusion with Forget Gate for Multimodal Summarization in Open-Domain Videos 阅读笔记

介绍这篇文章是对一个长视频得到一个摘要，是属于多模态的论文.模型结构模型总体结构如图，还是非常易懂的经典双线程，其中两个模态有交叉（信息交换）的地方，模型总体还算简单特征初步提取videoResNeXt-101 3D convolutional neural network

多模态

视频简介生成

mulit-modal

模态

ide

原创 2021-08-27 14:44:58 681 阅读

阅读笔记 Modality-specific and shared generative adversarial network for cross-modal retrieval

这一篇论文讲的是使用多模态来进行图片的检索，通过文字检索出最好的图片，模型结构如下：文章提出两个特征概念modality-specific 模态独立特征modality-shared 模态分享特征，也可以理解为共同特征文章采用对抗训练框架，在生成模型处：

机器学习

深度学习

python

人工智能

神经网络

原创 2021-08-27 14:40:56 294 阅读

A Novel Graph-based Multi-modal Fusion Encoder for Neural Machine Translation阅读笔记

文章目录1. 前景介绍2. 模型结构2.1 编码器2.1.1 Multi-modal Graph2.1.2 Embedding Layer2.1.3 Graph-based Multi-modal Fusion Layers模态内融合**模态间融合**2.2 解码器3. 实验结果4. 模型评价4.1 模型的贡献1. 前景介绍这篇文章讲的是多模态机器翻译首先把图和句子用一个统一多模态图来表示图结构如下每个结点包含，文本信息和图片信息图有两种边，一种是相同模态相连的边，一种是不同模态相连

多模态

图神经网络

模态

编码器

结点

原创 2021-08-27 14:33:06 504 阅读

Infusing Multi-Source Knowledge with Heterogeneous Graph Neural Network for Emotional 阅读笔记

文章目录1. 前言2. 模型结构2.1 Heterogeneous Graph-Based Encoder2.1.1 Graph Construction2.1.2 Graph Initialization2.1.3 Heterogeneous Graph Encoding2.1.4 Emotion Predictor2.2 Emotion-Personality-Aware Decoder3. 实验3.1 损失函数3.2 模型结果4. 总结4.1 模型贡献1. 前言情感对话系统的成功取决于对情感的

多模态

初始化

编码器

模态

神经网络

原创 2021-08-27 14:32:51 255 阅读

阅读笔记 MISA: Modality-Invariant and -Specific Representations for Multimodal Sentiment Analysis

文章目录1.前言2.模型结构2.1 Modality Representation Learning2.1.1 Utterance-level Representations2.1.2 Modality-Invariant and -Specific Representations2.2 Modality Fusion2.3 Learning2.3.1 Similarity Loss2.3.2 Difference Loss2.3.3 Reconstruction Loss2.3.4 Task Loss3.

多模态

情感分析

模态

数据

最小化

原创 2021-08-27 14:32:49 890 阅读

Multimodal Routing: Improving Local and Global Interpretability of Multimodal Language Analysis阅读笔记

文章目录Multimodal Routing: Improving Local and Global Interpretability of Multimodal Language Analysis模型结构encodingRoutingPrediction实验Interpretation AnalysisMultimodal Routing: Improving Local and Global Interpretability of Multimodal Language Analysis任务：多模

多模态

情感分析

模态融合

三模态

mulitmodal

原创 2021-08-27 14:32:47 129 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

wx612883da19464的博客

CM-BERT: Cross-Modal BERT for Text-Audio Sentiment Analysis 阅读笔记

TEASEL: A Transformer-Based Speech-Prefixed Language Model 论文阅读

多模态情感分类论文阅读笔记 Integrating Multimodal Information in Large Pretrained Transformers

Semi-supervised Multi-modal Emotion Recognition with Cross-Modal Distribution Matching 阅读笔记

多模态阅读笔记 Noise Estimation Using Density Estimation for Self-Supervised Multimodal Learning

阅读笔记 M3ER: Multiplicative multimodal emotion recognition using facial, textual, and speech cues

Gated Mechanism for Attention Based Multi Modal Sentiment Analysis 阅读笔记

阅读笔记 A Deep Multi-Level Attentive network for Multimodal Sentiment Analysis

阅读笔记 CR-Net: A Deep Classification-Regression Network for Multimodal Apparent Personality Analysis

Multi-modal Multi-label Emotion Detection with Modality and Label Dependence 阅读笔记

Multistage Fusion with Forget Gate for Multimodal Summarization in Open-Domain Videos 阅读笔记

阅读笔记 Modality-specific and shared generative adversarial network for cross-modal retrieval

A Novel Graph-based Multi-modal Fusion Encoder for Neural Machine Translation阅读笔记

Infusing Multi-Source Knowledge with Heterogeneous Graph Neural Network for Emotional 阅读笔记

阅读笔记 MISA: Modality-Invariant and -Specific Representations for Multimodal Sentiment Analysis

Multimodal Routing: Improving Local and Global Interpretability of Multimodal Language Analysis阅读笔记