上次介绍了信息检索技术——布尔检索，布尔模型已经可以解决一个很重要的问题，就是找到和用户需求相关的文档(其中还需要很多处理，比如分词，归一化，去掉停用词等等，我们只是介绍主要的框架流程)。但是这样找到的文档会有很多，也许上千个，也许上万个，这远远不是用户所要的。用户也不会去从几万个文档中挑选自己要找的。因此我们需要对结果进行排序，把最能满足用户需求的文档放在最上面显示给用户，就像google和ba
几款多模态向量检索引擎：Faiss、milvus、Proxima、vearch、Jina等对比随着人工智能技术的不断发展，多模态向量检索引擎在各个领域的应用越来越广泛。本文将介绍几款常用的多模态向量检索引擎，包括Faiss、milvus、Proxima、vearch和Jina，并对它们的特点、优劣和使用场景进行对比分析。首先，Faiss是一种快速高效的向量检索引擎，它在处理大规模数据集时表现出色。
一、向量检索图解总结 大规模特征向量检索算法总结 (LSH PQ HNSW)：https://www.6aiq.com/article/1587522027341 「向量召回」相似检索算法——HNSW：https://mp.weixin.qq.com/s/dfdNj9CZ3Kj2UwDr9PQcVg二、原始内容2.1 基础概念2.1.1 度量方式：欧式距离，cos距离，汉明距离，jaccard相似
转载
2024-05-13 22:50:51
149阅读
一:算法目标annoy 算法的目标是建立一个数据结构能够在较短的时间内找到任何查询点的最近点，在精度允许的条件下通过牺牲准确率来换取比暴力搜索要快的多的搜索速度。二:算法流程1:建立索引Annoy的目标是建立一个数据结构，使得查询一个点的最近邻点的时间复杂度是次线性。Annoy 通过建立一个二叉树来使得每个点查找时间复杂度是O(log n)。 看下面这个图，随机选择两个点，以这两个节点为初始中心节
转载
2024-05-02 22:11:53
278阅读
由于NumPy中的对象大多实现得比较复杂（提供了丰富的功能），所以其对象创建和销毁的开销都非常大。上面的这句代码意味着在计算每一个新数据点时，都要创建一个新的array对象，并且仅使用一次后就会销毁，使用array.mean方法求均值带来的性能提升还比不上array对象创建和销毁带来的额外开销。正确的用法是把np.array作为data_window时间序列的容器，每计算一个新的数据点时，使用底层
# Python向量搜索算法
## 简介
在计算机科学中，向量搜索是一种在一个向量空间中寻找目标向量的算法。向量搜索广泛应用于信息检索、数据挖掘、机器学习等领域。Python作为一种广泛应用的编程语言，提供了丰富的工具和库，可以用来实现向量搜索算法。
本文将介绍向量搜索的原理和常用的算法，并提供代码示例来演示如何在Python中实现这些算法。
## 原理
向量搜索的目标是在一个向量空间中
原创
2023-08-23 12:37:54
244阅读
向量v(用粗体字母表示向量）也叫矢量，是一个有大小有方向的量。长度为1的向量称为单位向量,也叫幺矢，这里记为E。长度为0的向量叫做零向量，记为0，零向量没有确定方向，换句话说，它的方向是任意的。一、向量的基本运算 1、向量加法：a+b等于使b的始点与a的终点重合时，以a的始点为始点，以b的终点为终点的向量。2、向量减法:a-b等于使b的始点与a的始点重合时，以b的终点为始点，以a的终点为终点的向量
转载
2024-01-18 14:35:26
202阅读
Elastic Stack 机器学习功能可以生成嵌入（embeddings），你可以使用它在非结构化文本中搜索或比较不同的文本片段。传统上，我们在搜索文本的时候，更加倾向于把文字进行分词，然后再对 token 进行比对：在上面，我们在文字中完全或部分匹配分词后的 token，从而完成我们的文字搜索。随着机器学习的出现，我们甚至可以直接在文字中直接使用 “问-答” 这样的方式进行搜索，比如：在这种情
转载
2024-04-17 13:09:55
51阅读
在本节中，你将了解另一种机器学习搜索方法，该方法利用 Elastic Learned Sparse EncodeR 模型或 ELSER，这是一种由 Elastic 训练来执行语义搜索的自然语言处理模型。这是继之前的文章 “Elasticsearch：Search tutorial - 使用 Python 进行搜索 （三）” 的续篇。ELSER 模型在上一章中，您了解了如何使用由机器学习模型生成的嵌
转载
2024-08-06 21:19:53
84阅读
二分查找又称折半查找，
优点是比较次数少，查找速度快，平均性能好；
其缺点是要求待查表为有序表，且插入删除困难。
因此，折半查找方法适用于不经常变动而查找频繁的有序列表。
首先，假设表中元素是按升序排列，将表中间位置记录的关键字与查找关键字比较，如果两者相等，则查找成功；否则利用中间位置记录将表分成前、后两个子表，如果中间位置记录的关键字大于查找关
转载
2024-06-29 12:38:39
29阅读
阿里的模型相对而言是相当复杂的，里面，这个对相关性的建模是不太友好的；
原创
2023-06-14 19:22:55
627阅读
本节文章主要是梳理一下支持向量机相关知识点,整合其他作者的内容,进行简化便于理解；目录0.了解SVM（概念,类别,特点）1.线性可分SVM和拉格朗日函数距离的计算公式推导拉格朗日函数求解距离2.非线性SVM和核函数3.线性SVM(软间隔支持向量机)4.优缺点及适用场景5.小结… … …0.了解SVM：**0.1定义支持向量机(Support Vector Machine, SVM)，通俗来讲，它是
转载
2024-10-03 13:47:15
26阅读
faiss是为稠密向量提供高效相似度搜索和聚类的框架，一下是官网提供的demo# 1. 首先构建训练数据和测试数据
import numpy as np
d = 64 # dimension
nb = 100000 # database size
nq = 10000 # nb of queries
np.random.seed(1024) # make reproduciable
xb
转载
2023-12-13 01:40:37
121阅读
数据结构与算法（二）——向量
导图向量的Java实现见：p/12558435.html1、接口与实现向量（Vector）是最基本的线性结构，与列表一同称为线性序列。抽象数据类型(abstract data type) = 数据模型 + 定义在该模型上的一组操作。数据结构(data structure) = 基于某种特定语言，实现抽象数据类型的一整套算法。抽象数据类型只关心使用的功能不关心实现即使用
转载
2023-08-25 15:13:34
107阅读
上一篇文章 ：【信息检索】Java简易搜索引擎原理及实现（二）新增停用词表 + 查询处理，我们在建立好的倒排索引的结构中剔除了停用词，同时引入了AND、OR、ANDNOT操作符，支持三种查询方式。 这篇文章中，我们将在倒排索引的基础上，改进我们的字典结构，使用B+树索引来加快检索速度；同时引入轮排的索引方法，以支持通配符的模糊查询方式。目标：支持通配符查询在原有字典的基础上，扩展索引结构，实现支持
转载
2023-06-18 19:47:33
184阅读
IVF-PQ 基于量化的向量检索算法IVF-PQ 基于量化的向量检索算法 文章目录IVF-PQ 基于量化的向量检索算法一、PQ是什么？Faiss是什么Produce Quantizer（乘积量化）Clustering：AssignPQ-search：二、IVF-PQ是什么？总结 hnsw、kd树等检索算法对底库中数据进行检索。kd树不适合维度高的数据，哈希（LSH）使用中小数据集，目前比较通用的
转载
2024-10-14 07:43:53
147阅读
支持向量机模型支持向量机（Support Vector Machine，SVM）是一种常用的监督学习算法，主要用于分类和回归问题。它的原理简单而强大，在许多实际应用中取得了很好的效果。原理支持向量机（Support Vector Machine，SVM）是一种常用的机器学习算法，用于分类和回归问题。其原理是基于统计学习理论中的结构风险最小化原则。SVM的主要思想是将数据通过一个高维特征空间进行映射
转载
2024-09-17 16:12:43
77阅读
以下为JAVA实现的 AES算法 CBC模式 PKCS5Padding 加密解密 1、加密public static byte[] encrypt(byte[] sSrc,byte[] sKey,byte[] sIv) throws Exception {
SecretKeySpec sKeySpec = new SecretKeySpec(sKey, "AES");
转载
2020-09-27 13:46:09
106阅读
树的构造105. 从前序与中序遍历序列构造二叉树106. 从中序与后序遍历序列构造二叉树108. 将有序数组转换为二叉搜索树110. 平衡二叉树111. 二叉树的最小深度112. 路径总和113. 路径总和 II114. 二叉树展开为链表116. 填充每个节点的下一个右侧节点指针117. 填充每个节点的下一个右侧节点指针 II235. 二叉搜索树的最近公共祖先236. 二叉树的最近公共祖先230
转载
2023-08-30 13:42:28
47阅读
需求：有800万的中文词向量，要查询其中任意一个词向量对应的k个与其最邻近的向量。通常情况下如果向量集比较小的话，几十万个向量（几个G这种），我们都可以用gensim的word2vec来查找，但是880万词向量有16个G，加到内存中就爆炸了，而且gensim中的查找属于暴力搜索，即全都遍历比较余弦相似度来进行查找，因此几百万量级的词向量查找起来就很慢了。这里我需要用更快速的工具来进行查找，找到了两
转载
2023-12-15 14:33:15
104阅读
