该文章为笔记在前文中记录了方差表示的是一组数据相对于平均数的离散程度的博客，一个班的学生成绩方差很大，说明这个班的学生成绩波动很厉害，有的特别好，有的特别差。这里描述的是某一个变量所体现背后的含义（维度或者称为指标）。相似度与相关性不是一种产物，不能被他们的名字搞混淆；比如两个文本的相似度，在考察两个文本的相似度时，需要分别文本进行分词计算每个词语的词频，形成词频向量。再计算两个词频向量的余弦夹角
转载
2024-09-29 17:44:21
38阅读
下面对距离、相似和相关做一个总结。 目录：1. 欧氏距离2. 曼哈顿距离3. 切比雪夫距离4. 闵可夫斯基距离5. 标准化欧氏距离6. 马氏距离7. 夹角余弦距离8. 海明距离9. Dice系数10. 杰卡德距离、SMC、Tanimoto系数与minhash11. Pearson相关系数12. 信息熵与KL距离13. bregman 散度距离13. 关联14. 贝叶斯15. 卡
一、推荐系统简介推荐系统主要基于对用户历史的行为数据分析处理，寻找得到用户可能感兴趣的内容，从而实现主动向用户推荐其可能感兴趣的内容；从物品的长尾理论来看，推荐系统通过发掘用户的行为，找到用户的个性化需求，从而将长尾商品准确地推荐给需要它的用户，帮助用户发现那些他们感兴趣但很难发现的商品。推荐系统使用的是基于邻域的算法，一类是基于用户的协同过滤算法，另一类是基于物品的协同过滤算法；二、数据集准备我
转载
2023-08-04 18:16:13
97阅读
背景： 1. 是个手机APP，收到的音频可能有许多噪音 2. 用户输入的是一个音乐片段，而不是整首歌，因此不能直接做两个音频的对比
过程： 1. 音频签名：纵轴是频率，横轴是时间，每半秒钟取样一次 → 缺点：同一首歌的音频签名可能很不一样，因为有背景噪音等 2. 使用星点图，只取峰值点，这样就key减少背景噪音和压缩对谱图的影响 3. 相似度计算
# Python 基于用户余弦相似度的推荐算法
在当今信息泛滥的时代，如何有效地从众多信息中为用户提供个性化的推荐服务，已经成为许多企业和应用的重点。推荐系统是通过分析用户的行为、偏好和特点，为用户提供个性化选择的系统。其中，基于用户之间的相似度进行推荐是一种常见的方法，余弦相似度作为一种度量用户相似性的指标，得到了广泛应用。
## 什么是余弦相似度？
余弦相似度是用来衡量两个向量的方向相似
原创
2024-10-19 05:36:47
151阅读
# 基于流行度的推荐模型 Python 实现
## 引言
在推荐系统中，流行度推荐模型是一种简单但有效的方法。它基于物品的流行度来推荐给用户最受欢迎的物品。在本文中，我将向你介绍如何使用 Python 实现基于流行度的推荐模型。
## 流程
下面是实现基于流行度的推荐模型的步骤：
```mermaid
flowchart TD
A[数据预处理] --> B[计算物品流行度]
原创
2023-09-30 05:26:29
118阅读
前文介绍了协同过滤算法和基于内容的推荐算法协同过滤算法要求要有很多用户，用户有很多操作基于内容的推荐算法用户可以不用很多，但是用户的操作也要有很多但是，如果要推荐给新用户（用户的操作不多），应该要怎样推荐呢？这里就要用到相似性推荐了相似性推荐定义：对于新用户A，没有ta的历史行为数据，在ta点击了item-X的场景下，可以将与item-X最相似的item集合推荐给新用户A。问题转化为，如何用一种通
转载
2023-10-06 17:23:28
82阅读
在工作中一直使用余弦相似度算法计算两段文本的相似度和两个用户的相似度。一直弄不明白多维的余弦相似度公式是怎么推导来的。今天终于花费时间把公式推导出来，其实很简单，都是高中学过的知识，只是很多年没用了，都还给老师了。本文还通过一个例子演示如果使用余弦相似度计算两段文本的相似度。
余弦函数在三角形中的计算公式为：
在直角坐标系中，向量表示的三角形的余弦
转载
2024-05-17 06:36:10
102阅读
# -*- coding: utf-8 -*-# @Date : 2019-02-14# @Author : Peng Shiyufrom copy import deepcopyimport numpy as npfrom sklearn.feature_extraction import DictVectorizerfrom sklearn.metrics.pairw...
原创
2021-07-12 10:46:07
275阅读
# -*- coding: utf-8 -*-# @Date : 2019-02-14# @Author : Peng Shiyufrom copy import deepcopyimport numpy as npfrom sklearn.feature_extraction import DictVectorizerfrom sklearn.metrics.pairw...
原创
2022-02-17 17:53:32
310阅读
论文介绍发表：2019，EMNLP论文题目：《Sentence-BERT：sentence embeddings using siaese BERT-networks》 论文地址:https://arxiv.org/abs/1908.10084 Github:https://github.com/UKPLab/sentence-transformers适用领域：句向量生成语义相似度计算语义搜索无监
转载
2024-01-24 21:03:23
218阅读
基于流行度的推荐是围绕着流行度的计算给出的推荐。那么，如何定义流行度呢？流行度有很多定义或者计算方法，比如，简单统计一段时间内的物品的购买次数，或者更加复杂的基于概率论的计算方法无论流行度计算方式如何，影响流行度的两个因素，大概是时间因素，比如，不同时间段内的新闻播报的热度不同，今年和去年流行的衣服不同等等空间因素，比如，位于网站首页的物品和位于多级子页面下的物品流行度不同，不同国家的明星在国内外
转载
2023-07-28 12:52:55
250阅读
目录1. 概述1.1 协同过滤1.2 相似度的计算1.3 ALS算法2. 代码实践2.1 案列1：综合2.2案列2：基于用户的推荐2.3 模型存储与加载2.3.1 存储2.3.2 加载2.4 案列3：基于物品推荐3. 推荐系统的冷启动问题① 用户冷启动② 系统冷启动 ③ 物品冷启动1. 概述买了一个手机，再次刷新会出现类似的产...
原创
2021-07-15 10:57:15
2255阅读
文档相似度之词条相似度word2vec、及基于词袋模型计算sklearn实现和gensim示例代码：import jieba
import pandas as pd
from gensim.models.word2vec import Word2Vec
from gensim import corpora, models
from gensim.models.ldamodel import Lda
转载
2024-01-17 08:31:10
85阅读
短文本语义匹配/文本相似度框架(SimilarityNet, SimNet)，基于bow_pairwise模式及框架原理介绍 一、简介短文本语义匹配(SimilarityNet, SimNet)是百度一个计算短文本相似度的框架，可以根据用户输入的两个文本，计算出相似度得分。1.1 示例句子1 句子2 相似度
车头 如何 放置 车牌 前 牌照
转载
2024-01-18 21:16:02
130阅读
作者：Radovan Ondas在本文章，我们将了解如何通过几个步骤在 Elastic 中实施相似图像搜索。 开始设置应用程序环境，然后导入 NLP 模型，最后完成为你的图像集生成嵌入。Elastic 图像相似性搜索概览 >>
Elasticsearch：如何在 Elastic 中实现图片相似度搜索 如何设置环境第一步是为你的应用程序设置环境。 一般要求包括：GitPython
转载
2024-05-02 21:47:34
86阅读
大家都知道，对于相同的客群，相同的响应结果情况下，对比两个模型的优劣性，指标有许多。比如总体的准确性，比如AUC、ks、提升度等等。本文以提升度来讲讲，如何有效对比两个模型的优劣性。 在实际使用中，我们为了证明模型是优于当下使用的策略的（以下统称模型），比如使用资产等级来划分客群。将分数划分成跟策略一样的组数，（策略也是有优先级的，分数的等级对标策略的优先级），分析不同模型的目标表现对比。如果单纯
转载
2023-12-18 22:10:58
257阅读
# 实现 Python 语义相似度模型的入门指南
在本文中，我将向你介绍如何构建一个简单的 Python 语义相似度模型。这个模型将帮助你计算两个文本之间的相似度，通常在自然语言处理（NLP）领域中非常有用。以下是整个流程的概述：
## 流程概述
| 步骤 | 描述 |
|------|------|
| 1 | 安装所需库 |
| 2 | 数据准备 |
| 3 | 文本预
1. 相似度模型的应用场景简单的说，相似度模型的应用场景就是，需要找到和某个实体相似的其他实体。比如：（1）商铺选址：某公司要在新城市开新的店铺，需要选址，可以使用相似度模型，找到和现有市场中表现好的商铺地址相似的地点；（2）广告宣传：其实和商铺选址类似，要选择一个好的宣传地点，可以使用相似度模型，找到和现有最好的宣传地点最相似的地点；（3）个性化推荐：这是现在互联网领域，尤其是电子商务领域应用很
转载
2024-03-25 11:07:11
229阅读
在当今的信息爆炸时代，如何准确理解文本之间的相似性成为了一个迫切的需求。Python作为一门强大的编程语言，凭借其丰富的机器学习和自然语言处理库，可以有效地解决基于语义相似度的问题。语义相似度主要用于文本检索、信息推荐和自然语言理解等多个领域。
> **引用块（权威定义）**
> 语义相似度是计算文本在语义上多么相似的一种方法，主要应用于搜索引擎、推荐系统以及语言模型等领域。
### 技术演进
