Spark数据本地性分布式计算系统的精粹在于移动计算而非移动数据，但是在实际的计算过程中，总存在着移动数据的情况，除非是在集群的所有节点上都保存数据的副本。移动数据，将数据从一个节点移动到另一个节点进行计算，不但消耗了网络IO，也消耗了磁盘IO，降低了整个计算的效率。为了提高数据的本地性，除了优化算法（也就是修改spark内存，难度有点高），就是合理设置数据的副本。设置数据的副本，这需要通过配置参
转载
2024-05-12 19:42:36
80阅读
在Kubernetes（K8S）中使用SparkPool可以有效管理和调度Spark应用程序的资源。SparkPool的概念是为了让用户能够在Kubernetes上共享Spark任务而不会干扰其它任务。下面我将向你详细介绍如何在K8S中实现SparkPool。
**整个过程大致可以分为以下步骤：**
| 步骤 | 操作 |
| :---: | :--- |
| 1 | 安装Spark Ope
原创
2024-05-07 10:11:00
121阅读
搜索引擎的几个技术要点最近浏览了搜索引擎的发展历程，简单总结下。搜索引擎需要解决的主要问题包含但不限于：建立资料库，建立关键字-页面号的索引，确定页面排序。三者的经典解决办法分别为：爬虫技术（Spider）、倒排索引（Inversed-Index）数据结构、排序算法（TF-IDF、PageRank等）解决。当然此处未考虑技术细节如如何应对反爬虫、如何分词等，现代搜索引擎也绝不是简单的几
转载
2024-01-15 20:52:46
41阅读
概述本文分析Task调度器的Pool调度对象的实现原理。通过文章spark2原理分析-Task调度对象实现接口(Schedulable)原理分析我们知道，任务调度器(TaskScheduler)中的调度对象分为两类:Pool和TaskSetManager。而这两类调度对象都实现了接口Schedulable。这篇文章着重讲解其中的一类调度对象Pool的实现原理。在Pool调度对象中实现了两种调度算法
转载
2023-11-24 09:16:02
59阅读
概述这篇文章主要是分析一下Pool这个任务调度的队列。整体代码量也不是很大，正好可以详细的分析一下，前面在TaskSchedulerImpl提到大体的功能，这个点在丰富一下吧。DAGScheduler负责构建具有依赖关系的任务集，TaskSetManger负责在具体的任务集内部调度任务，而TaskScheduler负责将资源提供给TaskSetManger供其作为调度任务的依据，但是每个spark
转载
2023-12-24 08:53:58
31阅读
Spark on yarn 简单安装配置，python代码提交测试前言：绝知此事要躬行。百度云链接链接：https://pan.baidu.com/s/1SbvMo7FeeZ50YiEERMsI4g 提取码：qwer环境：两台Centos7.6(一台腾讯云、一台百度云） 文章目录Spark on yarn 简单安装配置，python代码提交测试1、ssh 免密登录配置2、jdk 安装3、hadoo
转载
2024-08-16 13:31:45
55阅读
1.SequoiaDB的下载安装这部分内容在此不做赘述，可以前往SequoiaDB文档中心查看：http://www.sequoiadb.com/cn/index.php?a=index&m=Files
2.Spark的下载安装此处我们将介绍Spark的安装和配置，其中配置部分需要符合SequoiaDB使用的需求，所以需要注意。
2.1 安装用 SequoiaDB
转载
2024-01-29 12:44:14
62阅读
TaskSchedulerImpl对Task的调度依赖于调度池Pool，所有需要被调度的TaskSet都被置于调度池中。调度池Pool通过调度算法对每个TaskSet进行调度，并将调度的TaskSet交给TaskSchedulerImpl进行资源调度。1 调度算法调度池对TaskSet的调度取决于调度算法。特质SchedulingAlgorithm定义了调度算法的规范，代码如下：//or
转载
2023-10-05 16:42:21
112阅读
简单的spark概述： 原文： Apache Spark is a fast and general-purpose cluster computing system. It provides high-level APIs in Java, Scala, Python and R, and an optimized engine that supports general execution g
转载
2024-01-27 21:12:51
2045阅读
## 一， Spark概述spark框架地址1、官网：
http://spark.apache.org/
2、源码托管：
https://github.com/apache/spark
3、母公司网站：
https://databricks.com/
官方博客：https://databricks.com/blog/、https://databricks.com/blog/catego
转载
2024-01-18 20:13:38
577阅读
什么是Spark？可能你很多年前就使用过Spark，反正当年我四六级单词都是用的星火系列，没错，星火系列的洋名就是Spark。当然这里说的Spark指的是Apache Spark，Apache Spark™is a fast and general engine for large-scale data processing： 一种快速通用可扩展的数据分析引擎。如果想要搞清楚Spark是什么，那么
转载
2023-08-13 23:12:17
130阅读
Spark零基础入门第三课1. Spark作业调度方式1.1 cluster 和 client 的区别2. spark 核心功能介绍：2.1 SparkContext2.2 存储体系2.3 计算引擎2.4 部署模式3. Spark 扩展功能3.1 Spark SQL3.2 Spark Streaming3.3 Spark GraphX3.4 Spark MLlib4. spark基本结构spar
转载
2023-11-07 08:17:51
65阅读
1. Apache Spark MLlibApache Spark 最为人所知的是它是Hadoop家族的一员，但是这个内存数据处理框架却是脱胎于Hadoop之外，也正在Hadoop生态系统以外为自己获得了名声。Hadoop 已经成为可供使用的机器学习工具，这得益于其不断增长的算法库，这些算法可以高速度应用于内存中的数据。早期版本的Spark 增强了对MLib的支持，MLib是主要面向数学和统计用户
转载
2023-10-09 20:28:09
317阅读
整体流程：一些基本概念：1.p_bank和l_bank2.rank和bank3.DIMM和SIMM4.DLL概念：DDR控制器架构： 时钟频率对比： （1）memory和phy/controller时钟频率一般是2：1；（2）假设memory那边数据位宽是32bit，因此在仅仅考虑axi一个通道的情况下带宽匹配时总线带宽一般是800MHZ,但是这是只考虑写或者只考
转载
2023-10-24 09:35:03
931阅读
PCIE之设备地址PCIE之设备地址PCI、PCIE外设的地址大致有两种，第一种是IO地址，第二种是MEM地址。IO地址IO地址是早期访问外设的方式，比起MEM地址访问，效率低。PCIE保留了这种方式前向兼容。 可以从下图看到BAR空间中，如果是使用IO地址的话，最后一位标识位会为1。比如某个PCIE外设的bar0空间值为0x1001，表示使用的是IO地址，而且外设的地址为0x1000。（0x10
转载
2024-04-20 22:29:23
90阅读
一、准备环境 在配置hdfs之前，我们需要先安装好hadoop的配置，本文主要讲述hdfs单节点的安装配置。二、安装hdfs配置文件hadoop安装准备好之后，我们需要对其中的两个文件进行配置1、core-site.xml这里配置了一个hdfs的namenode节点，以及文件存储位置<configuration>
<!-- nameNode：接收请求的地址，客户
转载
2023-09-25 13:31:36
299阅读
一、0.0.0.0
严格说来，0.0.0.0已经不是一个真正意义上的IP地址了。它表示的是这样一个集合：所有不清楚的主机和目的网络。这里的“不清楚”是指在本机的路由表里没有特定条目指明如何到达。对本机来说，它就是一个“收容所”，所有不认识的“三无”人员，一律送进去。如果你在网络设置中设置了缺省网关，那么Windows系统会自动产生一个目的地址为0.0.0.0的缺省路由。
二、255.2
转载
精选
2007-11-19 22:26:00
4207阅读
点赞
getIPWithNSHost{ //获得全部当地地址 NSArray *addresses = [[NSHost currentHost] addresses]; NSString *stringAddress = nil; for (NSString *anAddress in addresses) { //
转载
2013-05-08 20:43:00
553阅读
2评论
本人是搞java开发的，但是了解一些底层的东西能帮助我理解一些编程上的东西。linux使用的基本上都是虚拟地址，内核程序中用的是内核空间虚拟地址，应用程序中用的是用户空间虚拟地址。逻辑地址就是虚拟地址，参照X86的cpu手册定义，逻辑地址的表示方式是 段地址：偏移地址，这里的逻辑地址就是偏移地址部分，段地址部分后面会提到。 物理地址可以理解为内存存储单元的地址，一一对应，对于32位系统支
翻译
精选
2014-07-14 16:45:41
1564阅读
逻辑地址、虚拟地址、物理地址 理解总结
原创
2022-12-08 17:04:13
337阅读
