图灵TOPIA编辑：安然图灵联邦编辑部出品 最近邻搜索(Nearest neighbor search)是指在数据库中查找与查询数据距离最近的数据点，是计算机视觉、推荐系统、机器学习等领域的基本问题。
比如在基于内容的图像检索中，在计算完查询图像特征向量后，需要在成千上万甚至几十亿的数据库图像特征向量中查找距离最小的Top n 幅图像，作为结果返回给用户。
Facebook的FAI
Embedding 是分析非结构化数据的重要方式，当我们将图片、声音编码为向量后，这些数据依旧能够保留原始数据（图片、声音等）的详细信息。然而，我们很难直接对这些编码后的向量中的数字与原始数据建立联系，想要弄清楚向量构成的空间到底意味着什么就更是难上加难了。本篇文章，我们将以向量 Embedding 场景中最重要的应用 “以图搜图” 为例，通过使用开源工具 Feder 来剖析相似性检索场景中的向量
转载
2024-01-29 12:05:13
686阅读
faiss入门+使用的索引原理已经在项目中在离线时，用faiss算过50w 视频的相似度。 但感觉还是对faiss有些陌生，想对faiss理解更多一些。 有幸看到别人分享的这个帖子Faiss 在项目中的使用Faiss Indexs 的进一步了解这里跟着上面两篇文章的思路，对faiss理解更多一些。重新审视1.再问faiss 是什么？撇开具体定义不管，Faiss 就可以类比为一个可以设置索引的数据库
转载
2024-08-26 21:56:16
621阅读
Faiss原理介绍github Faiss 包含多种相似性搜索方法。它假设实例表示为向量并由整数标识，并且可以将向量与 L2（欧几里得）距离或点积进行比较。与查询向量相似的向量是那些与查询向量具有最低 L2 距离或最高点积的向量。它还支持余弦相似度，因为这是归一化向量的点积。大多数方法，如基于二进制向量和紧凑量化代码的方法，只使用向量的压缩表示，不需要保留原始向量。这通常是以降低搜索精度为代价的，
转载
2024-04-04 21:46:13
299阅读
1.顺序查找顺序查找又叫线性查找，主要用于在线性表（顺序表和链表均可）中进行查找。 基本思想：从线型表一端开始，逐个检查关键字是否满足给定的条件。 ASL=(n+1)/22.折半查找又称为二分查找。仅适用于有序的顺序表。 基本思想：将给定的关键字和给定序列中间位置关键字比较，若相等则成功；若不相等，则在中间元素的前半部分或后半部分范围重复查找，直到找到，或查找不成功。查找判定树： ASL(成功)如
转载
2024-07-04 13:03:41
46阅读
说明原本想尝试自己从头写，但看了下网上的各位前辈的博客后，感觉自己还是才疏学浅，没有理解透彻，所以在这里做个搬运工，偶尔加些个人的理解在里面。侵删。Faiss 的原理首先来介绍一下Faiss使用时候的数据流： 在使用Faiss的时候首先需要基于原始的向量build一个索引文件，然后再对索引文件进行一个查询操作，在第一次build索引文件的时候，需要经过Train和Add两个过程，后续如果有新的向量
转载
2024-05-30 00:23:20
1184阅读
现代信息检索
王老师的现代信息索引讲的很精彩，但是三节联排的课程总让我的注意力没办法太集中。在这里记录一下知识，也但是回顾了。支持布尔查询的索引办法，在给定一个查询的情况下，可能匹配到的结果非常的多，那么对匹配结果（文档）进行评分或者相关权重分析，就显得尤为重要。一、 参数化索引和域索引 通常的文档都有额外的结构（title，author，cont
转载
2024-01-05 22:51:41
142阅读
常见的查找算法基本可分为三类：静态查找，树形查找和哈希查找。静态查找 静态查找可以分为三种，最简单的就是顺序查找，可以选择从后往前也可以选择从前往后进行查找。时间复杂度在1-n之间；
其次就是二分查找，二分查找要求是对一个有序的数据结构进行查找，查询复杂度在logn；
最后就是分块查找，也可以称为索引查找，查找介乎与顺序查找和二分查找之间。通过将数据划分为若干的块，每个块内的数据不必有序，
转载
2024-07-15 08:10:46
60阅读
常见应用场景图片、视频、语音、文本等非结构化数据可以通过人工智能技术（深度学习算法）提取特征向量，然后通过对这些特征向量的计算和检索来实现对非结构化数据的分析与检索。针对向量检索常见的应用场景有[2]：图片识别：以图搜图，通过图片检索图片。具体应用如：车辆检索和商品图片检索等。视频处理：针对视频信息的实时轨迹跟踪。自然语言处理：基于语义的文本检索和推荐，通过文本检索近似文本。声纹匹配，音频检索。
转载
2024-06-27 21:58:33
157阅读
摘要：通常在大厂实际项目中会使用Spark来处理大规模数据下的数据挖掘和分析相关工作。本篇从项目实战中总结常用的Spark特征处理实例，方便小伙伴们更好的使用Spark做数据挖掘相关的工作。
摘要：通常在大厂实际项目中会使用Spark来处理大规模数据下的数据挖掘和分析相关工作。本篇从项目实战中总结常用的Spark特征处理实例，方便小伙伴们更好的使用Spa
转载
2024-01-30 06:35:44
350阅读
在前面的文章中已经有说明，Faiss库的运行是基于索引的，这个索引与传统数据库中的Index不同，它是包含向量集，训练和查询方法等的类。1. Index类汇总MethodClass nameindex_factoryMain parametersBytes/vectorExhaustiveCommentsExact Search for L2IndexFlatL2"Flat"d4*dyesbrut
转载
2024-06-30 22:53:28
262阅读
Faiss库系列2_原理分析1 引入 Faiss库为向量近邻搜索提供精确的暴力匹配方法IndexFlatL2和IndexFlatIP，前者使用L2距离衡量向量相似度，而后者采用点积衡量。暴力匹配存在的最大问题是耗时严重，针对这个问题，Faiss库利用泰森多边形（voronoi图）将搜索空间分为数个小单元（cell，划分的数量可有超参数nlist控制），并在搜索时控制搜索的单元数量（由nprobe
在处理海量文本数据时，将文本转化为向量表示是一项重要的技术。这篇博文将聚焦于如何使用Langchain将文本转化为向量，并利用Faiss进行高效的相似性检索。我们会深入分析其背景、特点和应用场景，力求为读者提供系统的理解和实用的操作指南。
> 引用块：
>
> “向量表示是自然语言处理的核心，能够有效捕捉到文本的语义特征” — 维基百科
在进行文本向量化时，我们主要关注以下几个核心维度：性能指
SQLite采用的是B+树来存储表中的索引和数据。 B树的键及其值既存储在内部节点上，也存储在叶节点上，所有的叶节点具有相同的深度。 B+树作了些微改变，键和数据会存储到叶节点上，并且按照键值排好序。而内部节点只存储键值。相当于有两条查找路径。 SQLite从根叶开始创建B+树，一般从页1开始。它以独立的页来存储树节点，每页一个节点，这些页要分内部页还是叶子页。对于每个节点，任何项(数据)及其键值
安装Faiss：?cpu版本：conda install -c pytorch faiss-cpu?gpu版本：conda install -c pytorch faiss-gpuFaiss 处理固定维数 d 的向量集合，通常为几十到几百个。这些集合可以存储在矩阵中。我们假设采用行主存储，即向量编号 i 的第 j 个分量存储在矩阵的第 i 行、第 j 列中。Faiss 仅使用 32 位浮点矩阵。i
原创
2024-09-17 09:06:59
396阅读
# 使用 FAISS 向量化文档的指南
在当今信息爆炸的时代，如何有效地从大量文档中提取有用信息是一个关键问题。为了解决这个问题，Facebook 研究院开发了 FAISS（Facebook AI Similarity Search）库，它提供了一种高效的方式来进行相似度搜索和聚类。在本文中，我们将探讨如何使用 FAISS 向量化文档，并提供相应的代码示例。同时，我们将展示序列图和类图，以帮助更
通过一个示例，来说明索引的代价。如下，给 person_info表中创建一个联合索引 idx_name_birthday_phone_number。1 CREATE TABLE person_info(
2 id INT NOT NULL auto_increment,
3 name VARCHAR(100) NOT NULL,
4 birthday DATE NOT NU
转载
2024-07-09 07:41:12
60阅读
首先介绍annoy :Annoy是高维空间求近似最近邻的一个开源库。Annoy构建一棵二叉树，查询时间为O(logn)。Annoy通过随机挑选两个点，并使用垂直于这个点的等距离超平面将集合划分为两部分。如图所示，图中灰色线是连接两个点，超平面是加粗的黑线。按照这个方法在每个子集上迭代进行划分。依此类推，直到每个集合最多剩余k个点，下图是一个k = 10 的情况。 n_trees在构建时提供，并影
原创
2022-04-11 14:23:31
2098阅读
文章目录16.1 数组为什么特殊16.2 数组是第一级对象16.3 返回一个数组16.4 多维数组16.6 创建测试数据16.6.1 Arrays.fill()16.6.2 数据生成器16.7 Arrays实用功能16.7.3 数组元素的比较16.7.4 数组排序16.7.5 在已排序的数组中查找 16.1 数组为什么特殊数组与其他种类的容器之间的区别： （1）效率。数组是一个简单的线性序列，这
背景向量召回/语义向量召回是现在流行的一种推荐策略，简单来说就是训练一个DNN双塔模型，模型分为用户侧和项目侧，可以分别得到用户的embedding向量和项目的embedding向量，然后以用户向量和项目向量之间的距离作为作为推荐的衡量标准，通过最近邻查询，找到用户最近的项目作为推荐候选项目。这篇文章会记录我从零开始搭建一个向量化推荐策略的过程，包括遇到的问题，和方案设计和技术选型的
