目录1 相似度算法1.1 欧几里德距离算法1.2 基于夹角余弦相似度算法2 最近邻域3 交替最小二乘法3.1 最小二乘法3.2 交替最小二乘法3.3 ALS算法流程3.4 ALS算法实战3.4.1 数据说明3.4.2 数据建模3.4.3 实战3.4.4 优化改进1 相似度算法无论是基于用户还是基于商品的推荐，都是需要找到相似的用户或者商品，才能做推荐，所以，相似度算法就变得非常重要了。常见的相似度
转载
2023-08-10 00:27:23
48阅读
一 speculative简介在spark作业运行中，一个spark作业会构成一个DAG调度图，一个DAG又切分成多个stage，一个stage由多个Task组成，一个stage里面的不同task的执行时间可能不一样，有的task很快就执行完成了，而有的可能执行很长一段时间也没有完成。造成这种情况的原因可能是集群内机器的配置性能不同、网络波动、或者是由于数据倾斜引起的。而推测
转载
2023-12-15 10:09:31
49阅读
目录10.SparkMLlib协同过滤推荐算法10.1 协同过滤推荐算法10.2 算法源码分析10.3 应用实战10.3.1 数据说明10.3.2 代码详解 10.SparkMLlib协同过滤推荐算法10.1 协同过滤推荐算法协同过滤算法是一种经典的推荐算法，推荐算法的基础是计算两个对象之间的相关度，其有两种实现形式：基于用户的推荐和基于物品的推荐。 基于用户的推荐思想是基于用户对某项物品的喜好
转载
2023-12-30 07:39:26
64阅读
# Hive on Tez YARN 推测机制的实现指南
## 1. 引言
在大数据处理领域，Apache Hive 是一种重要的工具，而 Tez 是 Hive 的执行引擎之一。YARN（Yet Another Resource Negotiator）是 Hadoop 2.x 中的资源管理器。推测执行（speculative execution）是一种性能优化机制，用于应对某些任务执行缓慢的情
机器学习算法|基于逻辑回归的分类预测前言本次的内容基于datawhale学习手册，笔记内的主要内容是机器学习算法中逻辑回归相关的内容，使用的模块大致有numpy、pandas、matplotlib、seaborn、sklearn中的LogisticRegression,数据集part1是自己编辑的一些坐标，part2部分主要是使用sklearn中自带的鸢尾花数据(iris)。目标熟悉逻辑回归的基本
1、spark推测执行开启 设置 spark.speculation=true即可 2、spark开启推测执行的好处 推测执行是指对于一个Stage里面运行慢的Task，会在其他节点的Executor上再次启动这个task，如果其中一个Task实例运行成功则将这个最先完成的Task的计算结果作为最终
转载
2018-06-27 14:40:00
390阅读
2评论
机器学习最有用的应用之一是预测客户的行为。这有广泛的范围：帮助顾客作出最优的选择（大多数是性价比最高的一个）；让客户可以口碑相传你的产品；随着时间流逝建立忠诚的客户群体。当前顾客已不单单满足于从商品或者购物车中点击和购买，而是期待你提供智能化的推荐。\\ 讲的很直白了。。。那实际情况下，你如何做到这些呢？让我们看下“分享经济”模式典范的Airbnb是如何做的，后续会从头到尾给出一个列子，使用Py
之前在
Hive on Spark 跑
TPCx-BB 测试时，100g的数据量要跑十几个小时，一看CPU和内存的监控，发现
POWER_TEST 阶段(依次执行30个查询)CPU只用了百分之十几，也就是没有把整个集群的性能利用起来，导致跑得很慢。因此，如何调整参数，使整个集群发挥最大性能显得尤为重要。
Spark作业运行原理 详细原理见上
转载
2024-08-14 17:39:03
38阅读
# Java 8 更好的类型推测机制
Java是一种静态类型的编程语言，类型推测是指编程语言能够根据上下文自动推测出变量的类型，而无需显式地指定类型。在Java 8中，引入了更好的类型推测机制，使得代码更加简洁、易读和灵活。本文将介绍Java 8中的类型推测机制，并提供一些代码示例来说明其用法和好处。
## 什么是类型推测机制
类型推测机制是指编程语言能够根据上下文自动推测出变量的类型。在J
原创
2023-09-11 06:47:07
38阅读
Spark 推测执行是一种优化技术。在Spark中，可以通过推测执行，即Speculative Execution，来识别并在其他节点的Executor上重启某些运行缓慢的Task，并行处理同样的数据,谁先完成就用谁的结果，并将另一个未完成的Task Kill掉，从而加快Task处理速度。适用于某些Spark任务中部分Task被hang住或运行缓慢，从而拖慢了整个任务运行速度的场景。注意:不是所有
转载
2023-11-06 14:18:04
98阅读
最近在测试环境跑任务，有一部分任务出现如下情况：推测执行(Speculative Execution)是指在集群环境下运行MapReduce，可能是程序Bug，负载不均或者其他的一些问题，导致在一个JOB下的多个TASK速度不一致，比如有的任务已经完成，但是有些任务可能只跑了10%，根据木桶原理，这些任务将成为整个JOB的短板，如果集群启动了推测执行，这时为了最大限度的提高短板，Hadoop会为该
转载
2023-12-01 11:57:09
146阅读
1. 背景推测执行(Speculative Execution)是指在分布式集群环境下，因为程序BUG，负载不均衡或者资源分布不均等原因，造成同一个job的多个task运行速度不一致，有的task运行速度明显慢于其他task（比如：一个job的某个task进度只有10%，而其他所有task已经运行完毕），则这些task拖慢了作业的整体执行进度，为了避免这种情况发生，Hadoop会为该task启动备
转载
2024-01-02 16:08:15
101阅读
反压机制：spark1.5以后，通过动态收集系统的一些数据来自动的适配集群数据处理能力 在默认情况下，Spark Streaming 通过 receivers (或者是 Direct 方式) 以生产者生产数据的速率接收数据。当 batch processing time > batch interval 的时候，也就是每个批次数据处理的时间要比 Spark Streaming 批处理间隔时间
转载
2023-12-12 20:31:06
84阅读
引入 一般来说，分布式数据集的容错性有两种方式：数据检查点和记录数据的更新。 面向大规模数据分析，数据检查点操作成本非常高，须要通过数据中心的网络连接在机器之间复制庞大的数据集，而网络带宽往往比内存带宽低得多，同一时候还须要消耗很多其它的存储资源。 因此，Spark选择记录更新的方式。可是，假设更新
转载
2017-07-13 21:10:00
2606阅读
2评论
Spark工作机制ClientDriver程序Spark ContextRDD DAGDAGSchedularTaskSchedular SparkEnv Worker NodeExecutorTaskTaskCacheWorker Node ExecutorTaskTaskCacheCluster Manager图 Spark架构图4.1应用程序执行流程应用程序的执
转载
2023-09-30 01:54:32
82阅读
Spark的基本工作原理我们从宏观讲解Spark的基本工作原理，帮助你全面了解布局1、客户端： 客户端也就是专业们常说的Client端，这里的是表示我们在本地编写Spark程序，然后必须找一个能够连接Spark集群，并提交程序进行运行的机器2、读取数据： 在准备运行Spark程序的同时，是不是也要有数据来源进行处理的呢，这里我们介绍几种常见的读取数据来源，是Hadoop集群中的HDFS、Hive也
转载
2023-09-17 12:09:59
67阅读
SparkContext.scala实现了一个SparkContext的class和object,SparkContext类似Spark的入口，负责连接Spark集群，创建RDD,累积量和广播量等。在Spark框架下该类在一个JVM中只加载一次。在加载类的阶段，SparkContext类中定义的属性，代码块，函数均被加载。（1）class SparkContext(config:Sp
转载
2023-10-27 09:28:27
52阅读
大数据Spark有怎样的缓存机制？首先Spark是开源的，所以翻看一下Spark的代码也能够多少了解一下Spark的缓存机制。在Spark较早的版本中，CacheManager的主要功能就是缓存，假设用户将一个分区的RDD 数据 cache了，当再次需要使用这份数据的时候是可以从缓存中进行提取的。 CacheManager底层存储是BlockManager，CacheManager负责维护缓存的元
转载
2023-08-04 11:45:29
162阅读
推测执行机制发现拖后腿的任务，比如某个任务运行速度远慢于任务平均速度。为拖后腿任务启动一个备份任务，同时运行。谁先运行完，则采用谁的结果。推测执行任务的前提条件每个Task只能有一个备份任务当前Job已完成的Task必须不小于0.05（5%）开启推测执行参数设置。mapred-site.xml文件中默认是打开的。不能启动推测执行的情况任务间存在严重的负载倾斜；特殊任务，比如任务向数据库中写数据。推
转载
2021-01-23 19:29:25
268阅读
2评论
MapReduce中的Shuffle 在MapReduce框架中，shuffle是连接Map和Reduce之间的桥梁，Map的输出要用到Reduce中必须经过shuffle这个环节，shuffle的性能高低直接影响了整个程序的性能和吞吐量。 Shuffle是MapReduce框架中的一个特定的pha
转载
2016-03-09 08:06:00
635阅读
2评论
