介绍最近因为工作需要，需要使用一个功能，就是中文文本相似度的计算。属于nlp领域的一个应用吧，这里找到一个非常好的包和大家分享。这个包叫sentence-transformers。这里给大家介绍，如何使用这个包对中文文本做相似度计算（这个包的其中一个小用途罢了）这里使用的模型是paraphrase-multilingual-MiniLM-L12-v2模型，因为paraphrase-MiniLM-L
转载
2023-12-07 00:20:03
310阅读
一、FAISS 核心原理1. 向量量化加速检索IVF（Inverted File System）：将高维向量空间划分为多个聚类（Voronoi cells），检索时仅搜索目标簇内的向量PQ（Product Quantization）：将原始向量切分为子向量并分别量化，用笛卡尔积近似距离计算HNSW（Hierarchical Navigable Small World）：多层图结构实现高效近邻搜索2
# Faiss Python检索实现指南
## 概述
本文将向您介绍如何使用Faiss库实现Python检索功能。Faiss是一款用于大规模相似性搜索和聚类的库，由Facebook AI Research开发。它提供了高效的索引和搜索算法，可用于处理百万级别的数据。
在本指南中，我们将按照以下步骤来实现Faiss Python检索：
1. 安装Faiss库及其依赖
2. 准备数据集
3.
原创
2023-11-11 13:22:45
250阅读
# 使用PaddleNLP实现相似度检索的完整指南
在当今的NLP（自然语言处理）领域，相似度检索是一项重要的任务，通常用于找出文本之间的相似性。PaddleNLP是一个强大的自然语言处理工具库，使用它可以高效地实现文本相似度检索。本文将详细阐述如何通过PaddleNLP实现相似度检索，适合初学者入门。
## 流程概述
在实现相似度检索的过程中，我们可以将步骤划分为以下几个阶段：
| 步骤
近年来云计算的广泛应用，大量数据已经被存放在云中。虽然云服务提供了很多优点，敏感数据的隐私和安全问题仍然仍然让人担忧。为了消除这种担忧，以加密的形式外包敏感数据是值得期待的管理方式。加密存储防止对数据进行非法访问，但使得一些基本操作复杂化，如对数据的搜索。在很多文献中已经提出基于不危害隐私而实现对加密数据的搜索的可搜索加密方案。然而，大部分都是处理精确查询
这个仿佛差不多是为了赶作业然后一开始写了个直方图匹配后来找了两种最简单的能够加进去的方法……Fundimental在这里简单的实现了直方图匹配和图像感知的哈希算法。
采用的python库为PIL。直方图匹配基本公式为 Sim(G,S)=1N∑i=1N(1−|gi−si|Max(gi,si)) 对RGB分别取出来然后进行匹配其他此外可以通过把图像分块进行匹配来减少由于位置信息不足带来的误差。这
转载
2023-11-22 18:43:20
64阅读
我们前面已经发现搜索后，每条匹配结果都会有一个_score字段,以以下结果为例： 搜索条件为：{
"query": {
"match": {
"title": "马鲁斯"
}
}
}得到一条结果集为{
"took": 1,
"timed_out": false,
"_shards": {
"total": 1,
"successful
转载
2024-03-16 07:50:35
110阅读
现代信息检索
王老师的现代信息索引讲的很精彩，但是三节联排的课程总让我的注意力没办法太集中。在这里记录一下知识，也但是回顾了。支持布尔查询的索引办法，在给定一个查询的情况下，可能匹配到的结果非常的多，那么对匹配结果（文档）进行评分或者相关权重分析，就显得尤为重要。一、 参数化索引和域索引 通常的文档都有额外的结构（title，author，cont
转载
2024-01-05 22:51:41
142阅读
常见应用场景图片、视频、语音、文本等非结构化数据可以通过人工智能技术（深度学习算法）提取特征向量，然后通过对这些特征向量的计算和检索来实现对非结构化数据的分析与检索。针对向量检索常见的应用场景有[2]：图片识别：以图搜图，通过图片检索图片。具体应用如：车辆检索和商品图片检索等。视频处理：针对视频信息的实时轨迹跟踪。自然语言处理：基于语义的文本检索和推荐，通过文本检索近似文本。声纹匹配，音频检索。
转载
2024-06-27 21:58:33
157阅读
图像相似度识别算法aHash｜dHash｜PHashaHash算法基本原理优缺点python实现dHash算法基本原理优缺点python代码实现 aHash\pHash\dHash 是常用的图像相似度识别算法，原理简单、实现方便。 aHash算法Hash算法进行图片相似度识别的本质，就是将图片进行Hash转换，生成一组二进制数字，然后通过比较不同图片的Hash值距离找出相似图片。aHash中文
转载
2024-08-05 09:02:13
32阅读
在MongoDB中通过建立索引可以进行高效的查询，如果没有索引MongoDB将会扫描整个集合与查询的条件进行匹配，这对于性能会造成很大的消耗。生产环境如何正确创建索引？，参考：#Mongodb索引类型
MongoDB提供了不同的索引类型支持在不同的业务场景进行查询
1. _id索引
绝大多数集合默认建立索引，对于每个插入的数据，MongoDB都会生成一条唯一的_id字段。
例如新创建一个集合时
d
要计算文本的相似度，要解决两个问题：首先，需要选择一个文本的表示方式。其次，需要选择一个衡量文本的相似度的距离度量。文本的表示自然语言理解的问题要转化为机器学习的问题，第一步肯定是要找一种方法把这些文本符号数学化。词向量是用一个向量来表示某个词的方法。下面介绍几种常见的词向量。SOW 词集模型忽略文本词序、语法和句法，仅仅记录某个词是否在文本中出现。具体地，根据语料库获得一个单词集合，集合中保存着
Faiss为稠密向量提供高效相似度搜索和聚类，支持十亿级别向量的搜索，是目前最为成熟的近似近邻搜索库。本文从最基本的特征比对开始讲解，中间详细讲解Faiss的环境配置以及使用步骤，最后落脚到为什么我们需要Faiss，以及Faiss上提供的在特征比对之外的功能。
转载
2021-07-13 15:43:55
841阅读
作者丨Gemfield@知乎 编辑 | 极市平台来源丨https://zhuanlan.zhih...
转载
2021-07-18 15:22:48
1774阅读
通常来说，面向向量的相似性检索的方法分为精确检索和近似检索两类。精确检索精确检索的本质就是线性查找。线性查找通过在整个向量空间内，遍历所有已存向量计算其与检索向量的距离，通常是计算欧几里德距离或者点积。欧氏距离最近的向量或者点积最大的向量就是相似度最高的向量。线性查找算法简单，不需要建立额外的数据结构和存储空间。
例如，通过使用例如 Intel 架构下的 MKL 或者使用 NVIDIA GPU 的
转载
2023-10-26 19:51:48
68阅读
一、引入 1有很多指标可以用来衡量向量的相似度，比如余弦距离、汉明距离、欧氏距离等。 在图像、视频、文本、音频领域，做向量的相似性搜索，有很多应用点，比如：图像识别，语音识别、垃圾邮件过滤。 这种基于相似度检索的方案，不同于机器学习模型的方案。比如用有监督学习模型来做人脸识别，模型的可解释性较低，而 ...
转载
2021-08-04 13:20:00
1279阅读
2评论
## Python Faiss：距离越大越相似吗？
在机器学习和数据挖掘领域，相似度计算是一个重要的问题。在处理大规模数据时，需要高效地计算数据点之间的相似度。Faiss（Facebook AI Similarity Search）是Facebook开发的一个高效的相似度搜索库，提供了多种距离计算方法。然而，在使用Faiss进行相似度搜索时，有一个常见的误解是认为距离越大，数据点越相似。本文将介
原创
2023-07-30 04:20:14
896阅读
出来实习第一个做的事相似图像的查找，学了一下谷歌的快捷简便方法，确实很吊的感觉。后来又学习了其他的算法，这里先把谷歌这个方法贴出来，方便以后忘记是查找。当然了都是别人写的，一搜就能搜到 相似图像查找，谷歌相似图像 根据Neal Krawetz博士的解释，原理非常简单易懂。我们可以用一个快速算法，就达到基本的效果。 这里的关键技术叫做"感知哈希算法"（Perceptual hash
转载
2024-02-07 14:47:04
51阅读
package com.etoak.simHash;
import com.hankcs.hanlp.seg.common.Term;
import com.hankcs.hanlp.tokenizer.StandardTokenizer;
import org.apache.commons.lang3.StringUtils;
import org.jsoup.Jsoup;
import or
转载
2024-08-07 09:40:19
30阅读
计算机视觉——Bag Of features图像检索原理什么是图像检索什么是Bag Of Word模型什么是sift特征提取什么是视觉词典什么是TF-IDF基于BOW的图像检索步骤结果与分析10维100维1000维5000维分析总结遇到的问题及解决 原理什么是图像检索图像检索就是基于图像的某一特征对其他图片进行匹配检索。从20世纪70年代开始，有关图像检索的研究就已开始，当时主要是基于文本的图像
转载
2024-06-03 12:20:12
143阅读
