1. 大模型的技术趋势本节我们将分析“大模型现象”在语言模型以外的领域的进展情况，主要包括计算机视觉领域和多模态（语言+图像）领域。计算机视觉（Computer Vision，CV）领域和NLP一样，也是本轮深度学习科技热潮中被极大颠覆了的研究领域，2012年被提出的近代深度学习的开山之作AlexNet便是CV领域中的深度卷积神经网络（Convolutional Neural Network，CN
转载
2024-05-24 21:30:56
150阅读
【论文速递】CVPR 2020 - CLIP-Event：用事件结构连接文本和图像【论文原文】：Li, Manling and Xu, Ruochen and Wang, Shuohang and Zhou, Luowei and Lin, Xudong and Zhu, Chenguang and Zeng, Michael and Ji, Heng and Chang, Shih-Fu【作者信
转载
2024-01-30 08:53:08
53阅读
在当今的技术领域，计算机视觉（CV）与自然语言处理（NLP）技术融合的需求日益增加。企业希望通过将图像信息与文本数据结合，获取更全面的洞察，进而提升用户体验和决策效率。然而，在实现这一目标的过程中，存在诸多挑战，例如数据预处理、模型选择和调试等。本文将分享我在处理CV与NLP结合问题中的经验，包括参数解析、调试步骤、性能调优、排错指南和生态扩展等方面的深入分析。
## 背景定位
结合CV和NL
该篇文章右谷歌大脑团队在17年提出，目的是解决对于NLP中使用RNN不能并行计算（详情参考《【译】理解LSTM（通俗易懂版）》），从而导致算法效率低的问题。该篇文章中的模型就是近几年大家到处可以听到的Transformer模型。一、算法介绍前的说明由于该文章提出是解决NLP（Nature Language Processing）中的任务，例如文章实验是在翻译任务上做的。为了CV同学更好的理解，先简
转载
2023-12-29 22:00:56
222阅读
此文最大的贡献，可能是在NLP和CV两大领域之间架起了一座更简便的桥梁。此前，大名鼎鼎的GPT和BERT已经将大型自然语言处理（NLP）模型的性能提升到了一个新的高度。直观点讲，就是事先遮住一些文本片段，让AI模型通过自监督学习，通过海量语料库的预训练，逐步掌握上下文语境，把这些被遮住的片段，用尽可能合乎逻辑的方式填回去。这和我们做「完形填空」的方式有些类似。经过海量数据的学习和训练，AI模型慢慢
转载
2023-07-31 23:26:51
221阅读
文章目录监督学习(Supervised Learning)分类问题(典型的监督学习)以CV领域的图片分类问题为例以NLP领域的判断垃圾邮件为例房价预测(理解回归问题)与神经网络都有关系的小点Linear EquationNoiseGradient Descent初步无监督学习(Unsupervised Learning)简述机器学习的过程监督学习、无监督学习区别 机器学习主要有: 监督学习(Su
转载
2024-01-11 15:04:19
68阅读
【2022全国科技周】情感计算科普讲座：CV语义个性化，NLP多模态，Voice语音，人脸情绪，脑电情感 提示：不知道有没有回放CSIG情感计算与理解专委会于5月27日上午9点举办“情感计算”科普讲座，欢迎大家和自己的研究生参加，会议和直播的链接如下： 直播时间：2022年05月27日9:00 - 12:00 直播地址：腾讯会议号：652-756-332 文章目录【2022全国科技周】情感计算科普
2020年10 月份，深度学习领域顶级会议 ICLR 2021 论文投稿结束。这次盛会，又有大牛在深度学习领域有了新突破。这次技术的变革会带来哪些影响呢？且听东方林语娓娓道来。人工智能应用在CV计算机视觉领域中，CNN卷积神经网络一直占据相当主流的地位。而Transformer 架构，在NLP自然语言处理任务中，得到了广泛应用。 两个领域，每项技术各有所长，彼此之间井水不犯河水。但是，
转载
2023-09-06 11:13:30
215阅读
# 开发 NLP 和 CV 模型的基础入门
在当今人工智能的浪潮下，自然语言处理（NLP）和计算机视觉（CV）是两个最为热门的领域。对于初入行的小白开发者来说，理解它们的实现步骤非常关键。下面，我们将逐步解析实现一个简单的 NLP 和 CV 模型的流程，以及代码实现。
## 整体流程
首先，我们来看看实现 NLP 和 CV 模型的整体流程，具体步骤如下：
| 步骤
原创
2024-08-13 09:50:18
66阅读
该项目是对基于深度学习的自然语言处理（NLP）的概述，包括用来解决不同 NLP 任务和应用的深度学习模型（如循环神经网络、卷积神经网络和强化学习）的理论介绍和实现细节，以及对 NLP 任务（机器翻译、问答和对话系统）当前最优结果的总结。该项目的主要动机如下：维护最新 NLP 研究学习资源，如当前最优结果、新概念和应用、新的基准数据集、代码／数据集发布等。创建开放性资源，帮助指引研究者和对 NLP
一、人工智能简单了解1.人工智能发展必备三要素：数据算法计算力CPU,GPU,TPU计算力之CPU、GPU对比：CPU主要适合I\O密集型的任务GPU主要适合计算密集型任务 2.人工智能、机器学习和深度学习人工智能和机器学习，深度学习的关系机器学习是人工智能的一个实现途径深度学习是机器学习的一个方法发展而来 3.主要分支介绍通讯、感知与行动是现代人工智能的三个关键能
转载
2024-01-13 12:09:44
526阅读
NLP介绍自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系，但又有重要的区别。自然语言处理并不是一般地研究自然语言，而在于研制能有效地实现自然语言通信的计算机系统，特别是其
转载
2023-11-03 09:10:47
88阅读
word2vec一个人读书时，如果遇到了生僻的词，一般能根据上下文大概猜出生僻词的意思，而 Word2Vec 正是很好的捕捉了这种人类的行为。它的缺点是hicontext 很小，没有使用全局的cooccur，所以实际上对cooccur的利用很少GloVe词义相近的词对贡献次数多，词义差得比较远的词对共现次数比较少，但其实他们的区分度并不明显。相比于word2vec,因为golve更容易并行化，所以
转载
2023-12-31 18:09:44
144阅读
大家好，我是对白。Prompt tuning，作为NLP领域中的一个“新宠”，甚至曾被学者誉为NLP预训练新范式。那么，它能否借鉴到CV领域并产生同样的成绩呢？现在，来自康奈尔大学和Meta AI等机构，通过Prompt来调整基于Transformer的视觉模型，结果发现：完全可以！比起全面微调，Prompt性能提升显著。无论模型的规模和训练数据怎么变，24种情况中有20种都完全胜出。与此同时，它
转载
2024-01-22 19:59:16
38阅读
TextCNN经过学习与了解最后决定使用Textcnn来作为分类的模型TextCNN结构 首先，我们要注意到卷积操作在计算机视觉(CV)和NLP中的不同之处。在CV中，卷积核往往都是正方形的，比如 3*3 的卷积核，然后卷积核在整张image上沿高和宽按步长移动进行卷积操作。与CV中不同的是，在NLP中输入层是一个由词向量拼成的词矩阵，且卷积核的宽和该词矩阵的宽相同，该宽度即为词向量大小，且卷积核
转载
2024-09-17 11:37:55
205阅读
与 CV、语音识别相比，NLP 项目在业务中落地往往较慢 NLP 落地项目往往和业务强相关。不像图像识别、语音识别，通用能力在具体业务也有大量落地场景，业务和算法协作边界和指标相对好确定。而 NLP 项目在业务中落地往往会比较慢，需要上下游不断深度磨合对齐。NLP 解决的是最难的认知智能，而人类语言的歧义性、复杂性、动态性令其挑战重重。但 NLP 商业化落地必须面对这些本质的难题，所以不
转载
2023-11-22 09:04:11
165阅读
科学研究需要领先和超越实际应用。所以以论文为媒介的研究成果应该有一个“新”字，体现在新的算法、任务、应用、数据、发现上。cv/nlp是重视实践和应用的领域，同时要求研究成果指导应用，进而推动该领域的发展。一项成熟的科研成果的特征可以概括为：问题具有挑战性，模式具有创新性，实验具有有效性。满足以上基本要求后，再来讨论如何写出一篇合格的CV或NLP论文。CV：CV是计算机视觉，作为火爆先锋部队，在五年
转载
2023-09-12 11:10:47
245阅读
kaiming的MAE和年初的CLIP可能是今年CV领域唯二的重磅文章，有预感MAE会成为CV领域和BERT地位相当的一篇文章。从BERT和MAE的形态上来说，都引入了mask机制来做无监督预训练，但是又因为vision和language两种模态上本质的不同，导致mask的设计上和整体框架上有所区别。从NLP的Transformer到BERT，然后到CV的ViT、BEiT，CV领域的无监督预训练经
转载
2024-06-08 13:35:22
45阅读
最近看到了一篇很不错的博客，里面列了一些面试问题汇总，但是排版比较不容易看，而且原作者没有提供完整的答案，在此就基于原作者的思路，完善一下其内容。原作者的文章将文章分为三个部分，分别是机器学习，深度学习，opencv相关。一、机器学习方面（1）LR与SVM的区别本质区别是loss函数的不同： 上面是LR的，下面是SVM的loss函数，可以看到，最明显的是SVM的loss函数自
转载
2024-01-14 16:21:56
68阅读
CV和NLP领域的Transformer原理和实践在2017年，Transformer模型由论文《Attention is all you need》提出，最开始被应用于机器翻译任务上并取得了很好的效果。它摒弃了传统LSTM的串行结构，使用了基于Self Attention的模型结构，具有更好的并行计算能力，这使得它在大规模数据模型训练方面更有优势。后来基于Transformer结构的模型大放异彩
转载
2023-11-18 21:52:02
89阅读
