目录一、余弦相似度计算方式1、python2、sklearn3、scipy4、numpy5、pytorch6、faiss二、规模暴增计算加速1、numpy矩阵计算GPU加速——cupy2、pytorch框架cuda加速3、faiss的加速方法总结在做文本匹配、文本推荐的时候需要用到文本相似性的评估，一般都采用比较简单的cos_similarity——余弦相似度(值越大，两者越相似，向量夹角越小，极
转载
2023-09-26 10:59:28
788阅读
几个常用的程序块，整理一下：计算余弦相似度主要就是计算二范数，以及两个向量内积。'''
计算余弦相似度
'''
from scipy.linalg.misc import norm
def cosineSimilarity(vec1, vec2):
cosine = sum(vec1 * vec2) / (norm(vec1) * norm(vec2))
return cosine
转载
2024-04-18 13:03:26
159阅读
1. 摘要翻译本篇文章中，我们提出了一个新颖的损失函数，称之为LMCL，来给出loss函数的一种不同思路。更确切地说，我们用L2范数（欧几里得范数）归一化softmax损失函数的特征和权值向量，消除半径方差的影响，重构为余弦损失函数。基于此，提出了一个余弦边界项来更深地最大化角度空间地决策边界。结果是，通过正则化和余弦决策边界地最大化的优点，成功实现了类内间距的最小化和类之间距离的最大化。我们称自
转载
2024-05-29 07:58:13
63阅读
向量空间模型VSM：VSM的介绍： 一个文档可以由文档中的一系列关键词组成，而VSM则是用这些关键词的向量组成一篇文档，其中的每个分量代表词项在文档中的相对重要性。VSM的例子： 比如说，一个文档有分词和去停用词之后，有N个关键词（或许去重后就有M个关键词），文档关键词相应的表示为（d1,d2,d3,...,dn），而每个关键词都有一个对应的权重（w1,w1,...,wn）。对于一篇文档来说，
转载
2023-11-03 06:49:40
248阅读
推荐系统中相似度计算可以说是基础中的基础了，因为基本所有的推荐算法都是在计算相似度，用户相似度或者物品相似度，这里罗列一下各种相似度计算方法和适用点余弦相似度 这个基本上是最常用的，最初用在计算文本相似度效果很好，一般像tf-idf一下然后计算，推荐中在协同过滤以及很多算法中都比其他相似度效果理想。 由于余弦相似度表示方向上的差异，对距离不敏感，所以有时候也关心距
转载
2024-04-02 16:04:00
55阅读
余弦相似性通过测量两个向量的夹角的余弦值来度量它们之间的相似性。θ度角的余弦值是1，而其他任何角度的余弦值都不大于1，并且其最小值是-1。从而两个向量之间的角度的余弦值确定两个向量是否大致指向相同的方向。两个向量有相同的指向时，余弦相似度的值为1；两个向量夹角为90°时，余弦相似度的值为0；两个向量指向完全相反的方向时，余弦相似度的值为-1。这结果是与向量的长度无关的，仅仅与向量的指向方向相关
原创
2021-06-29 16:29:36
3483阅读
点赞
一. 余弦相似度算法基本概念 余弦相似度算法：一个向量空间中两个向量夹角间的余弦值作为衡量两个个体之间差异的大小，余弦值接近1，夹角趋于0，表明两个向量越相似，余弦值接近于0，夹角趋于90度，表明两个向量越不相似。二. 向量基本知识点 1 向量乘积公式 2 向量模计算公式三.&
转载
2023-08-04 12:46:24
583阅读
# -*- coding: utf-8 -*-
import jieba
import jieba.analyse
import math
def sentence_resemble():
'''
计算两个句子的相似度：
1，将输入的两个句子分词
2，求分词后两句子的并集（去重）
3，计算两句子各自词频
4，求词频向
转载
2023-06-01 15:27:55
261阅读
一、余弦相似度：余弦值越接近1，就表明夹角越接近0度，也就是两个向量越相似，这就叫"余弦相似性"二维向量的余弦相似度：多维向量的余弦相似度（类比） 协同过滤(Collaborative Filtering, 简称 CF)：收集用户行为减噪与归一化处理减噪：用户行为数据是用户在使用应用过程中产生的，它可能存在大量的噪音和用户的误操作，我们可以通过经典的数据挖掘算法过滤掉行为数据中的噪音，这
转载
2023-09-07 00:01:57
295阅读
什么是余弦定理学过向量代数的人都知道，向量实际上是多维空间中有方向的线段。如果两个向量的方向一致，即夹角接近零，那么这两个向量就相近。而要确定两个向量方向是否一致，这就要用到余弦定理计算向量的夹角了。余弦定理对我们每个人都不陌生，它描述了三角形中任何一个夹角和三个边的关系，换句话说，给定三角形的三条边，我们可以用余弦定理求出三角形各个角的角度。假定三角形的三条边为 a, b 和 c，对
转载
2023-11-20 02:15:15
109阅读
在推荐系统中，有一个环节是基于物品的推荐。它是基于物品的相似度，即物品的静态属性，如物品内容描述、物品特征向量等属性。这次我们会用到TFIDF和相似度计算的方法，对用户进行酒店推荐。本次使用的酒店数据会放到github中，需要自取：https://github.com/Vihagle/AI/tree/main/data.下面的代码中，会提到余弦相似度，那我们也顺便提一嘴： 所谓余弦相似度，就是通过
# Python 计算图像余弦相似度的初步探索
在机器学习和计算机视觉的世界里，图像的相似性度量是一个至关重要的研究方向。特别是在内容检索、推荐系统和图像分类等场景中，余弦相似度作为一种常用的相似性度量方法得到了广泛应用。本篇文章将探讨如何在 Python 中计算图像的余弦相似度，并使用示例代码进行说明。
## 什么是余弦相似度？
余弦相似度用于度量两个非零向量之间的夹角，而非直接比较它们的
余弦相似度使用NEON指令加速背景参考资料公式代码实现（未用NEON）使用NEON加速加速效果编译信息测试使用的arm cpu信息 背景余弦相似度是通过计算两个向量的夹角余弦值来评估他们的相似度,原理非常简单,应用空间却非常广阔,如人脸特征求相似度,还有NLP领域求文本相似度等等.余弦相似计算在一般cpu上计算量其实并不大,但是如若人脸特征底库达到一定规模时,在求取最高相似度时速度问题就凸显出来
转载
2024-10-13 19:13:28
26阅读
前记 n个样本点划分到k个类簇中，使得每个点都属于离它最近的质心对应的类簇，以之作为聚类的标准。质心，是指一个类簇内部所有样本点的均值。
算法描述 ? Step 1 . 从数据集中随机选取K个点作为初始质心
将每个点指派到最近的质心，形成k个类簇
相似度算法余弦相似度余弦距离，也称作余弦相似度，使用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小度量 余弦值越接近于1，就表明夹角越接近0度，也就是两个向量越接近，这就叫做余弦相似性计算方法 计算夹角， 1.直角三角形计算是cos=a/b 临边比对边 2.非直角三角形计算公式为： 3.向量表示的三角形中，向量a和向量b的夹角余弦计算如下： 4.如果向量a,b不是二维，二是n维，方法依
转载
2023-11-08 21:15:50
396阅读
已计算出个文本间的余弦相似度值，怎么用kmeans聚类K-MEANS算法: k-means 算法接受输入量 k ；然后将n个数据对象划分为 k个聚类以便使得所获得的聚类满足：同一聚类中的对象相似度较高；而不同聚类中的对象相似度较校聚类相似度是利用各聚类中对象的均值所获得一个“中心对象如何计算两个不同长度的向量的余弦相似度(1)余弦相似性 通过测量两个向量之间的角的余弦值来度量它们之间的相似性。0度
转载
2023-11-20 09:54:41
128阅读
看starspace的时候发现它实现了dot和cos两种similarity的度量方式，这里总结一下：余弦相似度衡量两个向量在方向上的相似性，而不care两个向量的实际长度，A和B的长度即使是一个超级短一个超级长的情况下，二者的余弦相似性也可能为1（即theta=0，此时两个向量重合）；
存在的问题[1]：
余弦相似度更多的是从方向上区分差异，而对绝对的数值不敏感。
比如用户对内容评
转载
2023-10-13 12:29:37
270阅读
在上篇文章中介绍了如何利用余弦定理计算两个物品间的相似度： KiKlaus：推荐算法原理（一）余弦定理计算物品间相似度zhuanlan.zhihu.com
这种计算方法虽然简单，但是在衡量空间两个向量间值的大小差异时，会有明显的缺陷。例如，向量A（1，1，1），向量B（5，5，5），如果用余弦定理计算，那么这两个向量的夹角大小为0°，即在方向上是完全一致的，所以算
转载
2024-01-12 08:52:58
68阅读
在工作中一直使用余弦相似度算法计算两段文本的相似度和两个用户的相似度。一直弄不明白多维的余弦相似度公式是怎么推导来的。今天终于花费时间把公式推导出来，其实很简单，都是高中学过的知识，只是很多年没用了，都还给老师了。本文还通过一个例子演示如果使用余弦相似度计算两段文本的相似度。
余弦函数在三角形中的计算公式为：
在直角坐标系中，向量表示的三角形的余弦
转载
2024-05-17 06:36:10
102阅读
项目背景： 将平台所售卖的房型与竞争对手的房型进行匹配，以节省人力及提高效率和匹配准确率~数据的处理： 竞对的房型名称相对于平台来说，显得非常的复杂，但是配合平台的强大的业务能力，在和运营人员讨论数据清洗规则方面花费了大量的时间，不过好在最后的
转载
2024-06-15 10:03:31
32阅读
