基于物品的推荐算法算法步骤 已知以上用户对物品的行为，假设点击行为得1分，搜索行为得3分，收藏5分，付款10分。请为用户推荐合适的物品。1、从以上信息构建用户、物品的评分矩阵，如下图2、由以上矩阵构建物品的相似度矩阵 如1号物品和2号物品，算出其第一行和第二行的余弦相似度，即可得出其第1号物品和第2号物品的相似度，最终得出6*6相似度矩阵3、相似度矩阵*评分矩阵=推荐列表 左边是第二步得到的相似度
转载
2023-08-31 21:22:11
44阅读
需要注意的是，lzo本身是不支持split的。故如果需要使用lzo，一般有2种办法： 1）合理控制生成的lzo大小，建议不要超过一个block大小。因为如果没有lzo的index文件，该lzo会由一个map处理。如果lzo过大，会导致某个map处理时间过长。 2）配合lzo.index文件使用。好处是文件大小不受限制，可以将文件设置的稍微大点，这样有利于减少文件数目。坏处是生成lzo.index
转载
2023-08-04 11:57:41
180阅读
hadoop2.X HA 原理: hadoop2.x之后，Clouera提出了QJM/Qurom Journal Manager，这是一个基于Paxos算法实现的HDFS HA方案，它给出了一种较好的解决思路和方案,示意图如下： 基本原理就是用2N+1台JN存储EditLog，每次写数据操作有大多数（>=N+1）返回成功时即认为该次写成功，数据不会丢失了。当然这个算法所能
转载
2023-09-01 08:55:19
60阅读
前一段时间，从配置hadoop到运行kmeans的mapreduce程序，着实让我纠结了几天，昨天终于把前面遇到的配置问题和程序运行问题搞定。Kmeans算法看起来很简单，但对于第一次接触mapreduce程序来说，还是有些挑战，还好基本都搞明白了。Kmeans算法是从网上下的在此分析一下过程。
Kmeans.java
1. import org.apache.hadoop.conf.Confi
转载
2023-08-25 16:25:40
50阅读
Hadoop集群中有三种作业调度算法，分别为FIFO，公平调度算法和计算能力调度算法先来先服务（FIFO）FIFO比较简单，hadoop中只有一个作业队列，被提交的作业按照先后顺序在作业队列中排队，新来的作业插入到队尾。一个作业运行完后，总是从队首取下一个作业运行。这种调度策略的优点是简单、易于实现，同时也减轻了jobtracker的负担。但是它的缺点也是显然的，它对所有的作业都一视同仁，没有考虑
转载
2023-09-20 10:26:43
37阅读
2.5 K-Means算法原理及Hadoop MapReduce实现2.5.1 K-Means算法原理K-Means算法是硬聚类算法，是典型的基于原型的目标函数聚类方法的代表。它是将数据点到原型的某种距离作为优化的目标函数，利用函数求极值的方法得到迭代运算的调整规则（如图2-45所示）。K-Means算法以欧氏距离作为相似度测度，求对应某一初始聚类中心向量V最优分类，使得评价指标最小。算法采用误差
转载
2023-07-13 16:44:00
105阅读
很多Java开发同学经常有一个疑惑，搞Java开发也需要懂算法吗？本文咱们就来谈谈这个问题。 其实如果你开发一个非常复杂而且有挑战的大型系统，那么必然会在系统中使用算法。同理，如果你可以将算法进行合理的优化，那么也可以将系统性能提升几十倍！ 空口无凭，下面用真实案例来进行说明。我们一起来看看Hadoop在部署了大规模的集群场景下，大量客户端并发写数据的时候，文件契约监控算法的性
转载
2023-09-01 10:15:35
33阅读
Hadoop平台K-Means聚类算法分布式实现+MapReduce通俗讲解在Hadoop分布式环境下实现K-Means聚类算法的伪代码如下：输入：参数0--存储样本数据的文本文件inputfile； 参数1--存储样本数据的Sequenc
转载
2024-08-02 12:04:00
30阅读
本节书摘来华章计算机《Hadoop与大数据挖掘》一书中的第2章 ，第2.5.3节，张良均 樊 哲 位文超 刘名军 许国杰 周 龙 焦正升 著 更多章节内容可以访问云栖社区“华章计算机”公众号查看。2.5.3 Hadoop K-Means算法实现思路针对K-Means算法，本节给出两种实现思路。思路1相对比较直观，但是效率较低；思路2在实现上需要自定义键值类型，但是效率较高。下面是对两种思路的介绍。
转载
2023-07-20 17:40:36
31阅读
学习MapReduce的原理()之后，我们来看看MapReduce是如何在HDFS集群上实现的。分布式计算框架的思想一般都是计算找数据，这样能减少数据传输中的网络IO开销，可以将一个计算线程比作一个伐木工人，数据就是山上的树木，工人工作肯定是携带工具上山伐木的，而不能把山搬到工人的家中来。 先来介绍Hadoop1.x版本的MapR
转载
2023-08-29 15:56:41
56阅读
前面我们已经介绍过了，Hadoop内部有两个master/slave架构，分别是：namenode+datanode，resourcemanager+nodemanager，分别对应Hadoop的两个核心组件Hdfs和Yarn。你可能已经发现了问题，这两个架构都是单点的，也就是说只要namenode/resourcemanager宕机，那么整个集群就不能工作了，即使可以恢复数据，但是在生产系统中也
转载
2023-07-12 12:39:26
40阅读
1 完全分布式搭建 hdfs-site.xml中指定SNN的位置 在slaves文件中配置DN的位置 即可 4台机器配置文件一致 通过配置文件上的指定来启动不同的jps 2 HA的搭建 基于zk的zkfc的检测机制 同时也是一种选举机制， 主备间通过对journalnode的主->写 备->读的模式保持主备一致性 zk对zkfc进行了心跳的检测 在zk
转载
2023-09-20 10:30:17
37阅读
声明：代码的运行环境为Python3。Python3与Python2在一些细节上会有所不同，希望广大读者注意。本博客以代码为主，代码中会有详细的注释。 之前我写过一篇文章叫《Python实现K-Means聚类算法》，这篇文章主要是在之前的基础上介绍K-Means算法的改进版——K-Means+
本来自己想先使用Java来写一个版本，然后根据语法转义写成Python版本的，结果发现实际去做的时候有很多不同之处，首先就是Python中没有直接的数组的结构，入手点就不同，然后是API的使用程度上来看，发现Python中真是丰富，几乎都不需要再额外定制一些函数就可以轻松得到想要的结果。
原创
2021-07-23 11:20:40
321阅读
经过昨天的准备工作，今天基本就可以编写整个k-means算法程序了。今天编写的时候遇到了一个问题，是combine操作时遇到的问题。除了这个问题基本都按照原来的思路进行。先说下我的思路吧。准备工作：在上传数据文件到HDFS上之前，先应该产生一个中心文件，比如我的输入文件如下：0.0 0.2 0.4
0.3 0.2 0.4
0.4 0.2 0.4
0.5 0.2 0.4
5.0 5.2 5.4
6.
转载
2024-06-17 13:58:41
13阅读
一、遗传算法的基本描述遗传算法（Genetic Algorithm，GA）是通过模拟自然界生物进化过程来求解优化问题的一类自组织、自适应的人工智能技术。它主要基于达尔文的自然进化论和孟德尔的遗传变异理论。多数遗传算法的应用是处理一个由许多个体组成的群体，其中每个个体表示问题的一个潜在解。对个体存在一个评估函数来评判其对环境的适应度。为反映适者生存的思想，算法中设计一个选择机制，使得适应度好的个体有
转载
2024-10-20 13:02:40
164阅读
问题背景：指定爬虫depth、线程数， python实现并行爬虫 思路： 单线程 实现爬虫类Fetcher 多线程 threading.Thread去调Fetcher 方法：Fetcher 中，用urllib.urlopen打开指定url，读取信息： 但是这样有问题， 比如对于www.sina.co
转载
2016-04-05 12:32:00
128阅读
2评论
环境 操作系统Ubuntu 12.04 64位 JDK 1.7 gcc 4.6.3 所需软件包 gcc、ant、lzo、lzo编码/解码器、lzo-devel依赖（lzo-2.06-1.el5.rf.x86_64.rpm、lzo-devel-2.06-1.el5.rf.x86_64.rpm） 概要步骤 1.安装和更新gcc、ant 2.在各个节点安装l
转载
2023-09-13 23:03:59
36阅读
kudu 1.7官方：https://kudu.apache.org/ 一 简介kudu有很多概念，有分布式文件系统（HDFS），有一致性算法（Zookeeper），有Table（Hive Table），有Tablet（Hive Table Partition），有列式存储（Parquet），有顺序和随机读取（HBase），所以看起来kudu是一个轻量级的 HDFS + Zookeepe
转载
2023-05-29 15:40:55
83阅读
注意：使用xysnc，出现权限问题，使用 root 一、基本配置 1、hosts 和 hostname 2、开启 ssh 和 无密连接 3、固定静态IP 4、配置 xsync 5、安装配置JDK 6、安装配置Hadoop 7、修改权限 (若不修改权限会出现权限问题) sudo chown -R to
原创
2021-07-15 13:47:28
413阅读
