近来由于工作需要，需要将字符串的相似度的计算速度进行提升。之前曾采用最长公共子序列、编辑距离等算法实现过，但总满足不了实时比较的性能及速度需求。前些天由同事推荐局部敏感哈希算法，便尝试了一把，结果发现速度还不错，本着记录与分享的精神，简单总结下实现的过程及思路。【Shingle】将待查询的字符串集进行映射，映射到一个集合里，如字符串“abcdeeeefg", 映射到集合”(a,b,c,d,e,f,
转载
2013-05-13 23:49:00
322阅读
2评论
上一年记录的东西，整理下... 需要代码我：1198552415，本人不做义务咨询。 一.哈希检索概述 LSH是Locality Sensitive Hashing的缩写，也翻译为局部敏感哈希，是一种通过设计满足特殊性质即局部敏感的哈希函数，提高相似查询效率的方法。虽然从正式提出距今不过十余
转载
2015-07-08 16:24:00
265阅读
2评论
阅读目录1. 基本思想2. 局部敏感哈希LSH 3. 文档相似度计算 局部敏感哈希(Locality Sensitive Hashing，LSH)算法是我在前一段时间找工作时接触到的一种衡量文本相似度的算法。局部敏感哈希是近似最近邻搜索算法中最流行的一种，它有坚实的理论依据并且在高维数据空间中表现优异。它的主要作用就是从海量的数据中挖掘出相似的数据，可以具体应用到文本相似度检测、网页搜
原创
2023-05-31 10:28:27
194阅读
项目中有好几个地方用到了哈希算法，更确切地说，是SHA算法的应用场景。MD5也是常用的哈希算法，但已经被证明不再安全，SHA-1也是如此，不安全的原因主要是彩虹表，或是碰撞计算，这里不详细描述。一般推荐使用SHA-256或者SHA-512，至少在当前是安全的。 哈希表在代码中也普遍使用，是一种用于关键字查询的数组或顺序列表，这里就不说了。1. 校验安装文件的完整性 在软件部署的时候，计算软
比较不同的文章、图片啊什么的是否相似，如果一对一的比较，数据量大的话，以O(n2)的时间复杂度来看，计算量相当惊人。所以如果是找相同就好了，直接扔到一个hashmap中即可。这样就是O(n)的复杂度了。不过相同的字符串一定会得到相同的hash，而不同的字符串，哪怕只有一点点不同，也极可能得到完全不同hash。很自然的想到，要是相似的object能够得到相似的hash就好了。局部敏感哈希就是这样的h
转载
2023-10-26 10:55:07
123阅读
一.题外话 虽然是科普，不过笔者个人认为大道至简，也就是说越简单的东西很可能越值得探讨，或者另外一种说法越简单的东西越不好讲解；其实笔者认为这就是《编程之美》所要传递的——大道至简。 软件构建老师给我推荐的《走出软件作坊》还没看呢。二.概述 高维数据检索（high-dimentional re...
转载
2015-05-09 23:36:00
45阅读
2评论
# 使用PySpark实现时间序列敏感局部哈希（LSH）
在数据分析与机器学习中，处理大规模数据时，时间序列的特征提取和近似计算至关重要。敏感局部哈希（LSH）是一种常见的算法，用于快速寻找高维数据的近似匹配。本文将以PySpark为基础，共同学习如何实现时间序列的LSH。
## 整体流程
我们可以将整个过程分为以下几个步骤，参见下表：
| 步骤 | 描述
搜集了快一个月的资料，虽然不完全懂，但还是先慢慢写着吧，说不定就有思路了呢。 开源的最大好处是会让作者对脏乱臭的代码有羞耻感。 当一个做推荐系统的部门开始重视【数据清理，数据标柱，效果评测，数据统计，数据分析】这些所谓的脏活累活，这样的推荐系统才会有救。 求教GitHub的使用。 简单不...
转载
2015-04-25 21:44:00
136阅读
2评论
# Java局部敏感哈希及其在文本相似性中的应用
在信息检索与文本相似性比较中，局部敏感哈希（Locality Sensitive Hashing, LSH）是一种常见的技术。LSH可以帮助我们在大量的数据中快速搜索相似的文本或信息。在本文中，我们将介绍Java中如何实现局部敏感哈希，并通过一个简单的示例来展示其在文本相似性中的应用。
## 局部敏感哈希简介
局部敏感哈希是一种哈希函数族，它
LSH是一种在海量数据近似查找最近邻方法，其基本思想是，在原始空间中相邻的集合，经过相同的映射后，在新的空间中仍然相邻（映射到一个桶里）的概率很大，而不相邻的数据点映射到一个桶里的概率很小。在推理的时候，我们把target映射到桶内，target的最近邻可以直接在这个桶内找。我们可以使用哈希函数实现 ...
转载
2021-09-08 16:02:00
1167阅读
2评论
学到现在越来越感觉计算机网络、操作系统的重要性，组成原理到没感觉出来，求推荐资料，我想要的是描述性解释，教材不是我想要的，谢谢！ 感觉自己的知识很老旧，在没有出国也没去高水平大学的条件下，只能通过网络学习了，感谢博客园。一.检索分类 在检索技术中，索引一直需要研究的核心技术。当下，索引技术主...
转载
2015-05-07 19:28:00
339阅读
2评论
2019 07 08 20:44:34
原创
2022-03-08 10:34:30
323阅读
Kernelized Locality-Sensitive Hashing Page Brian Kulis (1) and Kristen Grauman (2)(1) UC Berkeley EECS and ICSI, Berkeley, CA(2) University of Texas,
转载
2016-01-27 17:33:00
71阅读
2评论
局部敏感哈希(Locality-Sensitive Hashing, LSH)方法介绍本文主要介绍一种用于海量高维数据的近似近期邻高速查找技术——局部敏感哈希(Locality-Sensitive Hashing, LSH)，内容包含了LSH的原理、LSH哈希函数集、以及LSH的一些參考资料。一、局...
转载
2015-02-26 21:10:00
729阅读
2评论
uber全球用户每天会产生500万条行程，保证数据的准确性至关重要。如果所有的数据都得到有效利用，t通过元数据和聚合的数据可以快速检测平台上的滥用行为，如垃圾邮件、虚假账户和付款欺诈等。放大正确的数据信号能使检测更精确，也因此更可靠。为了解决我们和其他系统中的类似挑战，Uber Engineering 和 Databricks 共同向Apache Spark 2.1开发了局部敏感哈希（
原创
2023-08-03 20:47:14
39阅读
局部敏感哈希(Locality-Sensitive Hashing, LSH)方法介绍 一、局部敏感哈希LSH 在很多应用领域中，我们面对和需要处理的数据往往是海量并且具有很高的维度，怎样快速地从海量的高维数据集合中找到与某个数据最相似（距离最近）的一个数据或多个数据成为了一个难点和问题。如果是低维
转载
2017-07-20 17:53:00
269阅读
2评论
学习总结（1）解决最近邻问题最“完美”的办法就是使用局部敏感哈希
原创
2022-08-25 11:01:18
601阅读
1.哈希算法介绍将任意长度的二进制值串映射为固定长度的二进制值串，该映射的规则就是哈希算法。 2.哈希算法满足条件1.从哈希值不能反向推导出原始数据（哈希算法，单向哈希算法）
2.对输入数据非常敏感，哪怕原始数据只修改了一个bit，最后得到的哈希值也大不相同
3.散列冲突的概率要很小，对于不同的原始数据，哈希值相同的概率非常小
4.哈希算法的执行效率要尽量高，针对较长的文本，能够快速计算
转载
2023-07-24 15:54:10
84阅读
一、原理 就是最基本的滑动窗口。BM的匹配方法是通过计算SAD（绝对差之和），即两个匹配块的像素相减取绝对值，再把匹配窗口中所有值加起来，这个值越小就代表匹配度越高。二、API 可以通过StereoBM::create 来创建BM算法Ptr<StereoBM> bm = StereoBM::create(
int minDisparity = 0,
int numDisparit
sdfsf
原创
2011-05-22 13:02:36
701阅读
