1. 介绍与安装参考https://milvus.io/cn/docs/home。Milvus 是一款基于云原生架构开发的开源向量数据库，支持查询和管理由机器学习模型或神经网络生成的向量数据。Milvus 在一流的近似最近邻（ANN）搜索库（例如 Faiss、NMSLIB、Annoy）的功能基础上进行扩展，具有按需扩展、流批一体和高可用等特点。 下面介绍几种安装方式：Docker compose方
转载
2023-11-27 20:56:55
1443阅读
点赞
参考：https://www.bilibili.com/video/av71330748/?p=7JVM是Java Virtual Machine（Java虚拟机）的缩写，JVM是一种用于计算设备的规范，它是一个虚构出来的计算机，是通过在实际的计算机上仿真模拟各种计算机功能来实现的。引入Java语言虚拟机后，Java语言在不同平台上运行时不需要重新编译。Java语言使用Java虚拟机屏蔽了与具体平
转载
2024-07-18 23:49:22
140阅读
背景向量召回/语义向量召回是现在流行的一种推荐策略，简单来说就是训练一个DNN双塔模型，模型分为用户侧和项目侧，可以分别得到用户的embedding向量和项目的embedding向量，然后以用户向量和项目向量之间的距离作为作为推荐的衡量标准，通过最近邻查询，找到用户最近的项目作为推荐候选项目。这篇文章会记录我从零开始搭建一个向量化推荐策略的过程，包括遇到的问题，和方案设计和技术选型的
安装Faiss：?cpu版本：conda install -c pytorch faiss-cpu?gpu版本：conda install -c pytorch faiss-gpuFaiss 处理固定维数 d 的向量集合，通常为几十到几百个。这些集合可以存储在矩阵中。我们假设采用行主存储，即向量编号 i 的第 j 个分量存储在矩阵的第 i 行、第 j 列中。Faiss 仅使用 32 位浮点矩阵。i
原创
2024-09-17 09:06:59
393阅读
Embedding 是分析非结构化数据的重要方式，当我们将图片、声音编码为向量后，这些数据依旧能够保留原始数据（图片、声音等）的详细信息。然而，我们很难直接对这些编码后的向量中的数字与原始数据建立联系，想要弄清楚向量构成的空间到底意味着什么就更是难上加难了。本篇文章，我们将以向量 Embedding 场景中最重要的应用 “以图搜图” 为例，通过使用开源工具 Feder 来剖析相似性检索场景中的向量
转载
2024-01-29 12:05:13
686阅读
Stream API简介官方对Stream API给出的定义：A sequence of elemets supporting sequential and parallel aggregate operations。所以Java 8中引入的Stream API是一个用来处理数组和集合的API。Stream API具有如下的一些特性： Stream API不是数据结构，没有相
转载
2023-11-27 06:29:44
536阅读
MLLib提供了一系列基本数据类型以支持底层的机器学习算法。 主要的数据类型包括：标注点（Labeled Point）、本地向量（Local Vector）、、本地矩阵、分布式矩阵等。单机模式存储的本地向量与矩阵，以及基于一个或多个RDD的分布式矩阵。 其中，本地向量与本地矩阵作为公共接口提供简单数据模型，底层的线性代数操作由Breeze库和jblas库提供。标注点类型用来表示监督学习（Super
转载
2024-06-30 12:13:43
161阅读
文章目录16.1 数组为什么特殊16.2 数组是第一级对象16.3 返回一个数组16.4 多维数组16.6 创建测试数据16.6.1 Arrays.fill()16.6.2 数据生成器16.7 Arrays实用功能16.7.3 数组元素的比较16.7.4 数组排序16.7.5 在已排序的数组中查找 16.1 数组为什么特殊数组与其他种类的容器之间的区别： （1）效率。数组是一个简单的线性序列，这
# 在Android NDK中编译向量检索库FAISS
随着数据分析与人工智能技术的发展，向量检索成为了许多应用中不可或缺的部分。FAISS（Facebook AI Similarity Search）是一个高效的相似性搜索库，广泛应用于大规模向量检索。在本篇文章中，我们将探讨如何在Android NDK环境中编译FAISS库，并通过代码示例帮助大家了解向量检索的基本实现。
## 什么是FAI
原创
2024-09-05 03:47:53
936阅读
Faiss是一个由facebook开发以用于高效相似性搜索和密集向量聚类的库。它能够在任意大小的向量集中进行搜索。它还包含用于
原创
2022-12-18 01:34:52
4684阅读
图灵TOPIA编辑：安然图灵联邦编辑部出品 最近邻搜索(Nearest neighbor search)是指在数据库中查找与查询数据距离最近的数据点，是计算机视觉、推荐系统、机器学习等领域的基本问题。
比如在基于内容的图像检索中，在计算完查询图像特征向量后，需要在成千上万甚至几十亿的数据库图像特征向量中查找距离最小的Top n 幅图像，作为结果返回给用户。
Facebook的FAI
大规模向量检索通常的做法有两类，第一、通过构建索引，快速筛选和查询向量相关度较高的目标向量或快速过滤和查询向量相关度不大的非目标向量；第二、通过降维的方法，对高维向量先降维再检索。前者主要解决向量检索库数据过大的问题，常见的有二叉搜索树、KD树、B-tree、quad-tree等；后者主要为了解决向量维度过高的问题，常见的有LSH【local sensitive hashing 局部敏感哈希】算法
转载
2023-08-18 17:12:12
211阅读
本文是Python应用于推荐系统领域的技术文章。Embedding的近邻搜索是当前图推荐系统非常重要的一种召回方式，通过item2vec、矩阵分解、双塔DNN等方式都能够产出训练好的user embedding、item embedding，对于embedding的使用非常的灵活：输入user embedding，近邻搜索item embedding，可以给user推荐感兴趣的items输入use
原创
2020-12-30 16:48:48
4365阅读
FAISS (Facebook AI Similarity Search) 本质：一个库 (Library)，而不是一个数据库。 定位：由 Meta (Facebook) AI 研发的、专注于高效相似性搜索的 C++/Python 库。它的核心使命只有一件事：在海量向量中快速找到最相似的 K 个向量 ..
现代信息检索
王老师的现代信息索引讲的很精彩，但是三节联排的课程总让我的注意力没办法太集中。在这里记录一下知识，也但是回顾了。支持布尔查询的索引办法，在给定一个查询的情况下，可能匹配到的结果非常的多，那么对匹配结果（文档）进行评分或者相关权重分析，就显得尤为重要。一、 参数化索引和域索引 通常的文档都有额外的结构（title，author，cont
转载
2024-01-05 22:51:41
142阅读
摘要：通常在大厂实际项目中会使用Spark来处理大规模数据下的数据挖掘和分析相关工作。本篇从项目实战中总结常用的Spark特征处理实例，方便小伙伴们更好的使用Spark做数据挖掘相关的工作。
摘要：通常在大厂实际项目中会使用Spark来处理大规模数据下的数据挖掘和分析相关工作。本篇从项目实战中总结常用的Spark特征处理实例，方便小伙伴们更好的使用Spa
转载
2024-01-30 06:35:44
347阅读
常见应用场景图片、视频、语音、文本等非结构化数据可以通过人工智能技术（深度学习算法）提取特征向量，然后通过对这些特征向量的计算和检索来实现对非结构化数据的分析与检索。针对向量检索常见的应用场景有[2]：图片识别：以图搜图，通过图片检索图片。具体应用如：车辆检索和商品图片检索等。视频处理：针对视频信息的实时轨迹跟踪。自然语言处理：基于语义的文本检索和推荐，通过文本检索近似文本。声纹匹配，音频检索。
转载
2024-06-27 21:58:33
157阅读
在处理海量文本数据时，将文本转化为向量表示是一项重要的技术。这篇博文将聚焦于如何使用Langchain将文本转化为向量，并利用Faiss进行高效的相似性检索。我们会深入分析其背景、特点和应用场景，力求为读者提供系统的理解和实用的操作指南。
> 引用块：
>
> “向量表示是自然语言处理的核心，能够有效捕捉到文本的语义特征” — 维基百科
在进行文本向量化时，我们主要关注以下几个核心维度：性能指
# 使用 FAISS 向量化文档的指南
在当今信息爆炸的时代，如何有效地从大量文档中提取有用信息是一个关键问题。为了解决这个问题，Facebook 研究院开发了 FAISS（Facebook AI Similarity Search）库，它提供了一种高效的方式来进行相似度搜索和聚类。在本文中，我们将探讨如何使用 FAISS 向量化文档，并提供相应的代码示例。同时，我们将展示序列图和类图，以帮助更
首先介绍annoy :Annoy是高维空间求近似最近邻的一个开源库。Annoy构建一棵二叉树，查询时间为O(logn)。Annoy通过随机挑选两个点，并使用垂直于这个点的等距离超平面将集合划分为两部分。如图所示，图中灰色线是连接两个点，超平面是加粗的黑线。按照这个方法在每个子集上迭代进行划分。依此类推，直到每个集合最多剩余k个点，下图是一个k = 10 的情况。 n_trees在构建时提供，并影
原创
2022-04-11 14:23:31
2094阅读
