1. 相似度模型的应用场景简单的说，相似度模型的应用场景就是，需要找到和某个实体相似的其他实体。比如：（1）商铺选址：某公司要在新城市开新的店铺，需要选址，可以使用相似度模型，找到和现有市场中表现好的商铺地址相似的地点；（2）广告宣传：其实和商铺选址类似，要选择一个好的宣传地点，可以使用相似度模型，找到和现有最好的宣传地点最相似的地点；（3）个性化推荐：这是现在互联网领域，尤其是电子商务领域应用很
转载
2024-03-25 11:07:11
229阅读
前言在机器学习中，经常需要使用距离和相似性计算的公式，在做分类时，常常需要计算不同样本之间的相似性度量(Similarity Measurement)，计算这个度量，我们通常采用的方法是计算样本之间的“距离(Distance)”。比如利用k-means进行聚类时，判断个体所属的类别，就需要使用距离计算公式得到样本距离簇心的距离，利用kNN进行分类时，也是计算个体与已知类别之间的相似性，从而判断个体
文章目录一、什么是knn算法二、算法原理三、通用步骤四、简单应用 一、什么是knn算法knn算法实际上是利用训练数据集对特征向量空间进行划分，并作为其分类的模型。其输入是实例的特征向量，输出为实例的类别。寻找最近的k个数据，推测新数据的分类。二、算法原理 对于上面的这个散点图，已知的点是分布在一个二维空间的，当然，在实际生活中，情况会变得复杂，可能是多维的。这个例子表示的是肿瘤病人的相关信息，横
转载
2023-08-23 15:57:21
312阅读
一、算法原理k近邻法（k-nearest neighbor，k-NN）是一种基本分类与回归方法。本书只讨论分类问题中的k近邻法。k近邻法的输入为实例的特征向量，对应于特征空间的点；输出为实例的类别，可以取多类。k近邻法假设给定一个训练数据集，其中的实例类别已定。分类时，对新的实例，根据其k个最近邻的训练实例的类别，通过多数表决等方式进行预测。k近邻法不具有显式的学习过程。k近邻法实际上利用训练数据
能干什么？ 文章去重，语句去重，提取关键词（文章摘要，页面指纹），图片识别，语音识别想要做一个相似度，最重要的是什么？ 必须得到一个度量：计算个体之间的相似程度（分数，0-1之间，0代表完全不同，一代表完全一样） 相似度值越小，距离越大，相似度值越大，距离越小 两方面考虑： 文本角度 语义角度 例如：这个菜真好吃 这个菜真难吃  
1.摘要 该方法从人脸识别的效果影响因素出发，从理论上推导出人脸样本类间相似度分布与人脸图像质量高度相关，利用类内相似度分布和类间相似度分布之间的Wasserstein距离生成人脸图像质量伪标签。然后，利用这些质量伪标签进行无监督训练人脸质量回归网络，从而获得一个质量评估模型。大量实验表明，在各大人脸识别的基准数据集上，提出的SDD-FIQA方法在不同的人脸识别系统下，精度和泛化能力都达到目前最优
转载
2024-05-26 16:38:21
115阅读
前言余弦相似度，又称为余弦相似性，是通过计算两个向量的夹角余弦值来评估他们的相似度。余弦相似度将向量根据坐标值，绘制到向量空间中。用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小。余弦值越接近1，就表明夹角越接近0度，也就是两个向量越相似，反之越接近0就表示两个向量相似度越低，这就叫"余弦相似性"。正文重温余弦定理先简单的重温一下高中数学知识，余弦定理 这个公式大
转载
2024-03-22 13:55:54
103阅读
在做分类时常常需要估算不同样本之间的相似性，通常采用的方法就是计算样本间的距离。常用的有：欧氏距离：源于欧式空间中两点的距离公式，np.outer（计算内积）曼哈顿距离（城市街区距离）切比雪夫距离：国际象棋 闵可夫斯基距离：闵氏距离不是一种距离，而是一组距离的定义两个n维变量a(x11,x12,…,x1n)与 b(x21,x22,…,x2n)间的闵可夫斯基距离定义为： &nbs
转载
2024-05-17 13:42:25
101阅读
1.K-Means 和 KNN 算法的区别首先，这两个算法解决的是数据挖掘中的两类问题。K-Means 是聚类算法，KNN 是分类算法。其次，这两个算法分别是两种不同的学习方式。K-Means 是非监督学习，也就是不需要事先给出分类标签，而 KNN 是有监督学习，需要我们给出训练数据的分类标识。最后，K 值的含义不同。K-Means 中的 K 值代表 K 类。KNN 中的 K 值代表 K 个最接近
# coding: utf-8
import collections
import numpy as np
import os
from sklearn.neighbors import NearestNeighbors
def cos(vector1,vector2):
dot_product = 0.0;
normA = 0.0;
normB = 0.0;
原创
2023-05-31 10:46:06
195阅读
要计算文本的相似度，要解决两个问题：首先，需要选择一个文本的表示方式。其次，需要选择一个衡量文本的相似度的距离度量。文本的表示自然语言理解的问题要转化为机器学习的问题，第一步肯定是要找一种方法把这些文本符号数学化。词向量是用一个向量来表示某个词的方法。下面介绍几种常见的词向量。SOW 词集模型忽略文本词序、语法和句法，仅仅记录某个词是否在文本中出现。具体地，根据语料库获得一个单词集合，集合中保存着
k近邻：两个样本足够相似的话就有更高的概率属于同一个类别，看和它最相似的k个样本中那个类别最多 对KNN来说训练集就是模型 寻找超参数：领域知识、经验数值、实验搜索距离 p=1，2，3…KNN中距离的应用由此引入距离权重，权重为距离的倒数，这也是一种超参数weights=‘uniform’ ‘distance’ 
# 利用KNN构造图的相似度矩阵
在机器学习和数据挖掘领域，相似度矩阵是一个非常重要的概念。它能够帮助我们理解数据内部的关联性和相似程度。本文将介绍如何通过K-最近邻（KNN）算法在PyTorch中构造相似度矩阵，并提供相关的代码示例，帮助读者更有效地理解这一过程。
## K-最近邻（KNN）简介
KNN是一种常用的非参数学习算法，主要用于分类和回归问题。其基本思想是通过计算样本之间的距离（
本文代码用于判断待测单词与哪个候选单词最接近，判断标准为字母出现频次（直方图）最接近，只考虑了不小心的拼写错误，而没有考虑故意的拼写错误，例如故意把god写成dog，这可能会造成误判。当然...
原创
2023-06-09 19:48:14
80阅读
在做分类时常常需要估算不同样本之间的相似性度量(Similarity Measurement)，这时通常采用的方法就是计算样本间的“距离”(Distance)。采用什么样的方法计算距离是很讲究，甚至关系到分类的正确 与否。 本文的目的就是对常用的相似性度量作一个总结。
本文目录： 1. 欧氏距离 2. 曼哈顿距离 3. 切比雪夫距离 4. 闵可夫斯基距离 5. 标准化欧氏距离 6. 马氏距
""" 基于gensim模块的中文句子相似度计算思路如下： 1.文本预处理：中文分词，去除停用词 2.计算词频 3.创建字典（单词与编号之间的映射） 4.将待比较的文档转换为向量（词袋表示方法） 5.建立语料库 6.初始化模型 7.创建索引 8.相似度计算并返回相似度最大的文本 """代码下载地址：https://github.com/yip522364642/ChineseSimilarity-
转载
2024-01-11 13:38:45
132阅读
一、第一种对比方式第一种对比方式是：取出两张 bitmap 中的所有像素，然后一一进行对比。匹配的点除以总点数就能得到一个相似度。代码如下：object SimilarityUtils {
fun similarity(bitmap1: Bitmap, bitmap2: Bitmap): Double {
// 获取图片所有的像素
val pixels1 =
转载
2023-09-06 11:34:02
59阅读
因为最近在做短文本匹配的项目，所以，简单的记个笔记。短文本匹配，即计算两个短文本的相似度。从广义分，可以分为无监督方式，有监督方式，有监督和无监督结合方式。具体实现，可以使用两个算法库，分别是MatchZoo和text_matching，在github上以上两个算法都开源了。1.无监督方式。通过模型训练语料得到词向量，如word2vec，glove等模型。然后通过对文本进行分词，通过look up
转载
2023-12-15 10:21:16
197阅读
相似度算法主要任务是衡量对象之间的相似程度，是信息检索、推荐系统、数据挖掘等的一个基础性计算。现有的关于相似度计算的方法，基本上都是基于向量的，也即计算两个向量之间的距离，距离越近越相似。1、欧式距离欧几里得度量（euclidean metric）（也称欧氏距离）是一个通常采用的距离定义，指在维空间中两个点之间的真实距离，或者向量的自然长度（即该点到原点的距离），在二维和三维空间中的欧氏距离就是两
转载
2023-09-28 13:56:45
257阅读
向量空间模型VSM：VSM的介绍：一个文档可以由文档中的一系列关键词组成，而VSM则是用这些关键词的向量组成一篇文档，其中的每个分量代表词项在文档中的相对重要性。VSM的例子：比如说，一个文档有分词和去停用词之后，有N个关键词（或许去重后就有M个关键词），文档关键词相应的表示为（d1,d2,d3,...,dn），而每个关键词都有一个对应的权重（w1,w1,...,wn）。对于一篇文档来说，或许所含
转载
2024-06-22 18:28:43
240阅读
