编者按：嵌入(Embedding)是机器学习中一种将高维稀疏向量转换为低维稠密向量的技术。其通常用于处理自然语言、图像等高维离散数据。嵌入能够有效地解决维度灾难问题，减少存储和计算成本，同时提高模型的表达能力。我们还可以通过得到的嵌入向量进行语义相似度计算、推荐系统、分类任务等多种应用。嵌入还可以用于处理非结构化数据，如文本、图像、音频等，帮助机器理解和处理人类的语言和其他感知信息。IDP开启Em
原创
2023-09-25 10:21:53
236阅读
1、词嵌入 词嵌入（word-embedding）又被称为词向量。在图像分类中一般使用One-hot编码，比如有五类，如果一个物体属于第二类的话，就可以用编码（0,1,0,0,0）来表示其类别。对于分类问题，十分简单明了。但在自然语言处理中，单词的数目过多，这样做就行不通了。比如有10000个单词，用one-hot方式来定义效率就特别低，每个单词的维度都是10000维的向量，其中只有一个是1，其他
转载
2024-05-29 00:47:17
61阅读
深度学习之Transformer学习笔记 目录深度学习之Transformer学习笔记前言一、Transformer整体架构二、输入模块1.Embeddig层2.Positional Encoding三、Encoder Block模块1.多头自注意力机制（Multi-Head Attention）Masked掩码1.padding mask2.sequence mask2.Add&Norm
转载
2024-04-08 13:54:43
170阅读
