文章目录Multimodal Routing: Improving Local and Global Interpretability of Multimodal Language Analysis模型结构encodingRoutingPrediction实验Interpretation AnalysisMultimodal Routing: Improving Local and Global Interpretability of Multimodal Language Analysis任务：多模
原创
2021-08-27 14:32:47
140阅读
介绍由于web上有大量非结构化和半结构化数据，因此迫切需要能够快速高
原创
2023-03-07 15:36:28
109阅读
vLLM 是一款专为大语言模型推理加速而设计的框架，实现了 KV 缓存内存几乎零浪费，解决了内存管理瓶颈问题。
我们介绍了KOSMOS-2.5，这是一个用于机器阅读文本密集型图像的多模态文学模型。KOSMOS-2.5在大规模文本密集型图像上进行预训练，擅长两个不同但相互合作的转录任务：(1) 生成空间感知的文本块，每个文本块在图像中分配其空间坐标；(2) 生产结构化文本输出，以markdown格式捕捉样式和结构。通过共享的Transformer架构、特定任务的提示和灵活的文本表示，实现了这种统一的多模态文学能力。我们在端到端的文档级文本识别和图像到markdown文本生成上评估了KOSMOS-2.5。
原创
2024-03-29 17:17:24
81阅读
幸运的是，由于多模态数据模态之间的互补性和信息的冗余性，在多模态融合过程中，联合多个模态的信息进行去噪已被证明是行之有效的策略。尽管在传统的多模态融合任务中，不确定性感知的动态融合方法的优越性已经从实验和理论上得到了证明，但是，在SOTA的多模态模型（不限于融合模型，如CLIP/BLIP等）中，动态性的思想还具有较大挖掘和
原创
2024-07-25 14:30:44
187阅读
）中发现一个在预训练词向量中不存在的词，一般...
原创
2022-12-21 14:01:53
369阅读
论文题目：Deep Multimodal Fusion by Channel Exchanging时间：2020来
原创
2023-03-07 15:35:46
163阅读
MDPO: Conditional Preference Optimization for Multimodal Large Language Models
相关链接：arxiv
关键字：多模态、大型语言模型、偏好优化、条件偏好优化、幻觉减少
摘要
直接偏好优化（DPO）已被证明是大型语言模型（LLM）对齐的有效方法。近期的研究尝试将DPO应用于多模态场景，但发现难以实现一致的改进。通过比较实
原创
2024-06-18 17:24:54
123阅读
Multimodal First Impression Analysis with Deep Residual Networks前言这篇文章也算是一个老文章了，不过效果也非常好，准确率也在前三名之内，有必要读读它的模型结构以及特征方法，特别是他对于声音提取的方面好像有一些小创新，虽然是两个模块，但也有借鉴意义，模型结构以下是整个模型的一个流程图，通过，训练集进行训练得到一个模型，然后把被测试者的视频输入到模型中，得到它的个性分数以及是否是一个好的面试者（通过还是不通过）Audiovisual 模
原创
2021-08-27 14:32:55
152阅读
在科学研究及其应用中，科学文献分析至关重要，因为它允许研究人员建立在他人工作的基础上。然而，科学知识的快速增长导致了学术文章的大量增加，使得深入的文献分析变得越来越具有挑战性和耗时。大型语言模型（LLMs）的出现为应对这一挑战提供了新的方法。LLMs以其强大的文本摘要能力而闻名，被视为改进科学文献分析的潜在工具。然而，现有的LLMs有其局限性。科学文献通常包括广泛的多模态元素，如分子结构、表格和图表，这对于以文本为中心的LLMs来说难以理解和分析。
原创
2024-03-19 10:42:23
166阅读
我们介绍了 Reka Core、Flash 和 Edge，这是一系列由 Reka 从头开始训练的强大多模态语言模型。Reka 模型能够处理和推理文本、图像、视频和音频输入。这份技术报告讨论了这些模型的一些训练细节，并提供了全面的评估结果。我们展示了 Reka Edge 和 Reka Flash 不仅是各自计算类别中的最新技术，而且还超过了许多更大的模型，为各自的计算类别提供了巨大的价值。同时，我们最有能力且最大的模型 Reka Core，在自动评估和盲人评估中接近最佳前沿模型（OpenAI, 2023;
原创
2024-04-19 16:57:35
96阅读
Xmodel-VLM: A Simple Baseline for Multimodal Vision Language Model
相关链接：arXiv github
关键字：多模态学习、视觉语言模型、资源效率、模型架构、训练策略
摘要
我们介绍了Xmodel-VLM，这是一个尖端的多模态视觉语言模型。它旨在高效地部署在消费级GPU服务器上。我们的工作直接面对一个关键的行业问题，即通过解决阻
原创
2024-05-16 14:43:03
89阅读
【摘要】 很多多模态任务，都需要融合两个模态的特征。特征融合即输入两个模态的特征向量，输出融合后的向量。最常用的方法是拼接（concatenation）、按位乘（element-wise product）、按位加（element-wise sum）。MCB的作者认为这些简单的操作效果不如外积（outer product），不足以建模两个模态间的复杂关系。但外积计算存在复杂度过高的问题。Mult...
原创
2021-05-27 23:00:09
4549阅读
TextMonkey: An OCR-Free Large Multimodal Model for Understanding Document
相关链接：arxiv github
关键字：Large Multimodal Model、OCR-Free、Document Understanding、Text-Centric Tasks、Token Resampling
摘要
我们提出了Tex
原创
2024-03-08 10:32:40
123阅读
Many-Shot In-Context Learning in Multimodal Foundation Models
相关链接：arxiv
关键字：Multimodal Foundation Models、In-Context Learning (ICL)、Many-Shot Learning、GPT-4o、Gemini 1.5 Pro
摘要
大型语言模型以其在小样本情境学习（ICL）方
原创
2024-05-21 17:07:15
88阅读
Many-Shot In-Context Learning in Multimodal Foundation Models
相关链接：arxiv
关键字：Multimodal Foundation Models、In-Context Learning (ICL)、Many-Shot Learning、GPT-4o、Gemini 1.5 Pro
摘要
大型语言模型以其在小样本情境学习（ICL）方
原创
2024-05-20 15:55:54
73阅读
首先是flume中三个组件的单词的意思，flume：水道；笕槽；引水槽，source：水源，channel：水渠，sink：水槽。见文知意，就是水从源头流出来，经过水渠或者管道，最终流到终点，也就是水槽了。之前总是flume的叫着，也不知道是啥意思，今天查了一下，再看其他几个组件的意思，这个工具的功能不言而喻了，就是针对像水一样的数据流处理的。 flume channel selectors允许给
现有的人脸编辑技术虽然已取得显著成果，但在支持多模式的局部人脸编辑方面仍存在不足，尤其是在多次连续（增量）编辑后，图像的非目标编辑区域会被反复重新生成，导致无关区域受到反复变动，使得编辑质量大幅下降。每一行：给定一个输入图像（第一列），FACEMUG 通过瑕疵去除、样例引导的面部风格转换、语义引导的属性编辑、草图引导
原创
2024-08-09 15:47:21
88阅读
