推荐系统测试方法及指标
传统工程的测试结果是有预期的，推荐系统的预期是高维空间中的一个区域。推荐系统的测试方法有四种：1.业务规则扫描 利用提前编写好的测试用例去验证相关逻辑是否正确2.离线模拟测试 构造模拟数据，对推荐系统进行测试，看某些结果是否符合预期3.在线对比测试 即ABTest，分流量对新老系统进行测试，看新的系统是否比老的系统更加优秀4
058 | 简单推荐模型之一：基于流行度的推荐模型今天，我们正式进入专栏的另一个比较大的模块，那就是 推荐系统。之前我们详细且全面地介绍了搜索系统的各个组成部分。在接下来的几周时间里，我们一起来看推荐系统的技术要点又有哪些。我们还是从简单推荐系统聊起，由易到难，逐步为你讲述一些经典的推荐模型。推荐系统目前已经深入到了互联网的各类产品中。不管是到电子商务网站购物，还是到新闻阅读网站获取信息，甚至是在
主要参考论文：《The Unfairness of Popularity Bias in Recommendation》 RMSE@RecSys 2019流行度偏差是什么先定义流行物品和非流行物品。下图是（Movielens 1M）数据集中物品的评分情况。 图的横坐标表示不同物品，纵坐标表示物品的评分次数。可以看出只有少部分物品得到了很多的评分，大部分曲线尾部的物品都只有少量的评分，我们也把这部分
要开发Excel的项目，就自然少不了对Excel对象模型的了解了，只有了解Excel对象模型，这样才能更好地对Excel进行处理。下面先给出一张Excel对象模型的图：下面就具体对上图中的各个对象做一个简单的介绍：Application对象——Excel中的Application对象表示Excel应用程序，该对象是所有Excel对象的根，你可以通过Application对象，获取到其他对象，在外接
1. 什么是推荐算法推荐算法最早在1992年就提出来了，但是火起来实际上是最近这些年的事情，因为互联网的爆发，有了更大的数据量可以供我们使用，推荐算法才有了很大的用武之地。最开始，所以我们在网上找资料，都是进yahoo，然后分门别类的点进去，找到你想要的东西，这是一个人工过程，到后来，我们用google，直接搜索自己需要的内容，这些都可以比较精准的找到你想要的东西，但是，如果我自己都不知道自己要找
目录标题推荐模型的重要性经典协同过滤和它的衍生模型矩阵分解的原理协同过滤算法的基本原理矩阵分解算法的原理用 Spark MLlib 已封装好的模型实现矩阵分解算法总结深度学习对推荐系统的影响一张深度学习模型 5 年内的发展过程图总结 推荐模型的重要性推荐模型在推荐系统中直接决定了最终物品排序的结果，它的好坏也直接影响着推荐效果的优劣。推荐系统的整体架构都是围绕着推荐模型搭建的，用于支持推荐模型的
转载
2024-04-24 16:14:15
84阅读
“ 自Embedding的概念问世以来，Embedding的探索和应用就没有停止过，Word2Vec、Sentence2Vec、Doc2Vec、Item2Vec，甚至Everything2Vec。对，“万物皆可Embedding”。几年来，Embedding在推荐系统中的应用也越来越多，方式众多，技法新颖。”作者：卢明冬在之前的文章中，《文本内容分析算法》和《基于矩阵分解的推荐算法》文中
转载
2024-05-28 19:51:43
2080阅读
1 EM算法的引入
1.1 EM算法
1.2 EM算法的导出
2 EM算法的收敛性
3EM算法在高斯混合模型的应用
3.1 高斯混合模型Gaussian misture model
3.2 GMM中参数估计的EM算法
4 EM推广
4.1 F函数的极大—极大算法 期望极大值算法（expectation maximizition algorith
转载
2024-04-15 12:58:25
126阅读
图解举例理解判别式模型举例：要确定一个羊是山羊还是绵羊，用判别模型的方法是从历史数据中学习到模型，然后通过提取这只羊的特征来预测出这只羊是山羊的概率，是绵羊的概率。生成式模型举例：利用生成模型是根据山羊的特征首先学习出一个山羊的模型，然后根据绵羊的特征学习出一个绵羊的模型，然后从这只羊中提取特征，放到山羊模型中看概率是多少，在放到绵羊模型中看概率是多少，哪个大就是哪个。细细品味上面的例子，判别式模
转载
2024-10-16 22:13:50
91阅读
Transformer 初识：模型结构+原理详解参考资源前言1.整体结构1.1 输入：1.2 Encoder 和 Decoder的结构1.3 Layer normalizationBatch Normalization和Layer Normalization对比Batch NormalizationLayer Normalization2. self-attention2.1 什么是 Atten
熟悉深度学习的同学一定对Embedding不陌生，由于神经网络通常输入的是高维稀疏向量，Embedding层可以起到降维、防止参数爆炸的同时，也可以实现稀疏向量稠密化，便于上层网络处理。然而，Embedding的作用远远不止这些，文中提到，Embedding是深度学习中的基础核心操作。Embedding经历的三大过程：处理序列样本、处理图样本、处理异构的多特征样本Embedding的优势：综合信息
转载
2024-01-02 16:30:31
84阅读
Transformer模型Transformer存在的缺点：捕获长期依赖的能力；解决了上下文碎片问题（context segmentation problem）；提升模型的预测速度和准确率； BERT模型BERT存在哪些优缺点？优点：能够获取上下文相关的双向特征表示缺点：
生成任务表现不佳：预训练过程和生成过程的不一致，导致在生成任务上效果不佳；采取独立性假设：没有考虑预测[MAS
转载
2024-07-22 12:14:09
98阅读
一、参考资料机器学习（十六）推荐系统协同过滤算法(collaborative filtering)常见推荐算法科普协同过滤推荐算法总结【推荐系统】协同过滤推荐算法_魏晓蕾的博客三分钟了解协同过滤算法用户行为推荐 协同过滤算法协同过滤算法的原理及实现协同过滤推荐算法的原理及实现协同过滤推荐算法及应用推荐——协同过滤算法以及Python实现今日头条推荐算法原理全文详解今日头条的推荐算法原理分析36氪首
目录一、什么是词向量 1.1 离散表示（one-hot representation）1.2分布式表示（distribution representation）二、如何生成词向量三、如何让向量具有语义信息四、CBOW和Skip-gram的算法实现4.1Skip-gram的理想实现 4.2Skip-gram的实际实现一、什么是词向量 &nb
转载
2024-03-19 12:28:32
189阅读
本文章对文本生成领域一些常见的模型进行了梳理和介绍。Seq2Seq 是一个经典的文本生成框架，其中的Encoder-Decoder思想贯彻文本生成领域的整个过程。Pointer-Generator Networks是一个生成式文本摘要的模型，其采用的两种经典方法对于其他文本生成领域也有很重要的借鉴价值。SeqGAN模型将强化学习和GAN网络引入到文本生成的过程
转载
2024-05-05 19:42:31
103阅读
作者：一块小蛋糕第四章 Embedding技术在推荐系统中的应用推荐系统中的Embedding技术主要是指将高维稀疏特征向量转换成低维稠密向量，便于深度神经网络的处理，同时具有综合信息能力强、易于线上部署的特点。首先是经典Embedding方法：- word2Vec:2013年由Google提出，从nlp推广到广告、搜索、图像、推荐等深度学习应用领域。w2v是生成对“词”的向量表达的模型。对于由单
转载
2022-01-04 11:42:31
735阅读
阅读。这个差异可能引发未来各种方法落地的矛盾。2. full embedding在概...
转载
2023-05-01 17:57:55
231阅读
1、推荐算法推荐系统的出现 随着互联网的发展，人们正处于一个信息爆炸的时代。相比于过去的信息匮乏，面对现阶段海量的信息数据，对信息的筛选和过滤成为了衡量一个系统好坏的重要指标。一个具有良好用户体验的系统，会将海量信息进行筛选、过滤，将用户最关注最感兴趣的信息展现在用户面前。这大大增加了系统工作的效率，也节省了用户筛选信息的时间。 搜索引擎的出现在一定程度上解决了信息筛选问题，但还远远不够。
BERT模型从训练到部署全流程Tag: BERT 训练 部署缘起在群里看到许多朋友在使用BERT模型，网上多数文章只提到了模型的训练方法，后面的生产部署及调用并没有说明。 这段时间使用BERT模型完成了从数据准备到生产部署的全流程，在这里整理出来，方便大家参考。在下面我将以一个“手机评论的情感分类”为例子，简要说明从训练到部署的全部流程。最终完成后可以使用一个网页进行交互，实时地对输入的评论语句进
转载
2024-06-17 23:12:28
80阅读
我们知道，只要是能够被序列数据表示的物品，都可以通过 Item2vec 方法训练出 Embedding。但是，互联网的数据可不仅仅是序列数据那么简单，越来越多的数据被我们以图的形式展现出来。这个时候，基于序列数据的 Embedding 方法就显得“不够用”了。但在推荐系统中放弃图结构数据是非常可惜的，因为图数据中包含了大量非常有价值的结构信息。下面就重点来讲基于图结构的 Embedding 方法，
转载
2024-09-20 11:38:56
203阅读
