摘 要 基于大数据的推荐系统的实现主要基于hadoop的mapreduce程序，利用数学上的共线矩阵算法，来求出商品之间的亲密度，这个是要由用户购买的历史数据，经过分析求出来的。现在大数据时代已经到来，现在比较流行的就是hadoop和spark，hadoop是针对于离线数据的分析，而spark可以实时的对数据作出分析，还有一种技术是storm，它也可以做到实时对数据做出分析，但是它具有不稳定性，所
转载
2023-11-06 13:02:13
219阅读
基于知识图谱的推荐系统综述 作者信息 Elesdspline目前从事NLP与知识图谱相关工作。导语 本文是2020年针对知识图谱作为辅助信息用于推荐系统的一篇综述。知识图谱对于推荐系统不仅能够进行更精确的个性化推荐，而且对推荐也是具有可解释性的，有迹可循。本文汇总了近些年来知识图谱辅助推荐系统的一些研究工作，并按不同的方法进行划分类别(下图是我根据论文画出的大纲方法类别图)；除此之外，汇总了不
1 背景介绍1.1 行业背景在2014年以后，大数据领域内掀起了一股强劲的Apache Spark学习和应用的浪潮。 Apache Spark以内存计算为核心，以其通用，快速和完整的生态圈等特点，正在逐步取代速度较慢的hadoop，越来越多的应用在了企业中。 ADHOC SQL查询，流计算，数据挖掘 ，图计算，R语言，一个又一个功能强大的组件使得越来越多的spark爱好者和企业界意识到 ，只要掌握
转载
2023-12-11 10:01:11
0阅读
这个分类 我主要想分享基于hadoop构建智能推荐系统的过程思路、程序设计和系统架构方面的一些技巧心得，至于hadoop、sqoop、hbase的安装和使用我就很少讲了，网上已经有不少这方面的文章了 mysql让咱们直奔主题吧。 算法1、 咱们要搭建一个智能推荐系统最重要的是什么呢？不是算法、也不是系统的自己，最关键是准确分析用户的行为数据，最终得出一个用户偏好表。有了这个用户偏好 表，咱们能够作
转载
2023-11-13 10:31:40
206阅读
引用Kim Mens and Angela Lozano. Source Code-Based Recommendation Systems. Recommendation Systems in Software Engineering, 2014, 93-130.摘要尽管今天的软件系统由各种各样的软件工件组成，但是源代码可以说仍然是最早更新的软件工件，因此也是最可靠的数据源。它提供了丰
转载
2023-07-30 13:55:43
385阅读
Mahout：Apache Mahout 是 Apache Software Foundation（ASF）旗下的一个开源项目，提供一些可扩展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创建智能应用程序。Mahout项目目前已经有了多个公共发行版本。Mahout包含许多实现，包括聚类、分类、推荐过滤、频繁子项挖掘。通过使用 Apache Hadoop 库，Mahout 可以有效地扩
转载
2023-12-31 19:58:13
129阅读
摘 要随着互联网与移动互联网迅速普及，网络上的电影娱乐信息数量相当庞大，人们对获取感兴趣的电影娱乐信息的需求越来越大,个性化的离线与实时的电影推荐系统 成为一个热门。然而电影信息的表示相当复杂，己有的相似度计算方法与推荐算法都各有优势，导致单一的相似度计算方法与推荐算法无法合适地应用于离线与实时的电影推荐系统 中。大量的电影数据的管理运营随着数据量的增长也变得越来越复杂，因此，如何综合
转载
2023-10-25 22:22:06
215阅读
1 项目介绍2 涉及的技术3 推荐流程图4 收获5 问题1 项目介绍使用Spark框架实现电影推荐系统；运用数据挖掘的算法产生模型，为用户精准推荐喜好的电影；分别通过离线和实时两种方式实现电影推荐系统；2 涉及技术Spark：基于内存的分布式计算框架Hadoop：分布式离线计算框架Hive：基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可
转载
2023-10-26 13:02:44
79阅读
mahout是一个推荐系统的apache下的框架，而hadoop是一个分布式的框架。基于《mahout in action》一书中的第六章介绍了关于分布式的hadoop实现，首先先介绍关于mahout下的基于共现矩阵的物品相似度的算法实现。 概要 这篇文章主要论述我在实现上一篇文章所述功能时的具体操作过程。因为Hadoop现在有两套新旧API接口，因此在实现过程中需要十分注意你import进来的c
转载
2023-12-12 10:51:19
124阅读
电影评分案例之高效TopN例如:我们要求每部电影的最高评分的前n条记录,按照之前的做法在map端是以电影名为key,MovieBean为value,输出到reduce端,然后分组,将每组数组放入到List集合中按分数高低进行排序,取前n条. 此时我么可以考虑在map端时将MovieBean作为key,输出到缓存区中,让缓存区自动按电影名分区并排序,然后分组,在reduce端我们只需要取出前n条记录
转载
2023-11-24 09:54:11
276阅读
1.HDFS-HA架构原理介绍hadoop2.x之后，Clouera提出了QJM/Qurom Journal Manager，这是一个基于Paxos算法实现的HDFS HA方案，它给出了一种较好的解决思路和方案,示意图如下： 1）基本原理就是用2N+1台 JN 存储EditLog，每次写数据操作有大多数（>=N+1）返回成功时即认为该次写成功，数据不会丢失了。当然这个算法所能容忍的
转载
2024-01-13 20:44:49
120阅读
一、大数据的落地点1.数据出售数据商城：以卖数据为公司的核心业务2. 数据分析百度统计友盟GAIBM analysis3.搜索引擎4. 推荐系统mahout百分比5.精准营销（1）广告投入：网站所有者集成广告联盟的js->访问者访问页面->js发送用户数据->广告联盟发送一个可以报价的广告位信息给所有的广告公司（报价是否、价格多少）->广告公司接受到这个报价信息，根据携带的
转载
2023-10-02 20:44:46
189阅读
写mapreduce程序实现kmeans算法，我们的思路可能是这样的 1. 用一个全局变量存放上一次迭代后的质心 2. map里，计算每个质心与样本之间的距离，得到与样本距离最短的质心，以这个质心作为key，样本作为value，输出 3. reduce里，输入的key是质心，value是其他的样本，这时重新计算聚类中心，将聚类中心put到一个全部变量t中。 4. 在main里比较前一次
基于Flink实现的商品实时推荐系统。flink统计商品热度，放入redis缓存，分析日志信息，将画像标签和实时记录放入Hbase。在用户发起推荐请求后，根据用户画像重排序热度榜，并结合协同过滤和标签两个推荐模块为新生成的榜单的每一个产品添加关联产品，最后返回新的用户列表。 系统架构图 模块说明a.在日志数据模块(flink-2-hbase)中,又主要分为6个Flink任务:用户-产品
转载
2024-01-29 01:59:35
125阅读
随着全球经济的不断发展，大数据时代早已悄悄到来，而Hadoop又是大数据环境的基础，想入门大数据行业首先需要了解Hadoop的知识。2017年年初apache发行了Hadoop3.0，也意味着一直有一群人在对Hadoop不断的做优化，不仅如此，各个Hadoop的商业版本也有好多公司正在使用，这也印证了它的商业价值。读者可以通过阅读“一文读懂Hadoop”系列文章，对Hadoop技术有个全面的了解，
转载
2024-05-14 13:07:20
19阅读
MapReduce之基于内容的电影推荐（二）因为这个MapReduce方案比复杂，所以我把它拆分成三块，这样阅读和管理起来比也方便接上一篇博文MapReduce之基于内容的电影推荐（一），接下来利用MapReduce计算两个电影的相似度，通过计算他们的关联度来计算两个电影的相似度 这篇博文主要介绍通过MapReduce获取计算关联度所需要的相关参数MapReduce计算两个电影关联度1、对于每一对
转载
2024-06-21 18:24:32
111阅读
Hadoop原来是Apache Lucene下的一个子项目，它最初是从Nutch项目中分离出来的专门负责分布式存储以及分布式运算的项目。简单地说来，Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop 是最受欢迎的在 Internet 上对搜索关键字进行内容分类的工具，但它也可以解决许
转载
2024-06-19 10:20:57
20阅读
大数据Hadoop应用开发技术正可谓如火如荼推进中，以为大数据已经不仅仅是局限在互联网领域，而是已经被上升到了国家战略的高度层面。大数据正在深刻影响和改变我们的日常生活和工作方式。Hadoop应用开发太过偏底层，难度之大真不是我们一般人所能够理解的。有的人会说，不都是倒腾代码吗？有什么难的！如果真是这样想，那就真的完蛋了。做hadoop底层的开发，真不是一般人和一般的企业就能够去做的。问个超级简
转载
2023-08-31 17:16:22
184阅读
基于Spark ALS构建商品推荐引擎 一般来讲，推荐引擎试图对用户与某类物品之间的联系建模，其想法是预测人们可能喜好的物品并通过探索物品之间的联系来辅助这个过程，让用户能更快速、更准确的获得所需要的信息，提升用户的体验、参与度以及物品对用户的吸引力。 在开始之前，先了解一下推荐模型的分类：1、基于内容的过滤：利用物品的内容或
转载
2023-12-10 11:10:28
44阅读
1.设计任务通过编写代码，设计一个基于Hadoop的电影推荐系统，通过此推荐系统的编写，掌握在Hadoop平台上的文件操作，数据处理的技能。工程文件放在百度网盘了，运行run.py即可启动程序，由于代码年份久远，我已尽量打了注释，大家可以下载后进行摸索。链接：https://pan.baidu.com/s/17OpSNstnFA1nVxDisuNBBg 提取码：9fv3 2.开发环境windows
转载
2023-12-01 20:43:56
82阅读
