全文： Application Programming Interface 中文名： 应用程序编程接口英文缩写： API 百度百科给出的解释是：一些预先定义的函数，目的是提供应用程序与开发人员基于某软件或硬件得以访问一组例程的能力，而又无需访问源码，或理解内部工作机制的细节。软件是运行在系统平台的支持上的，软件的功能其实就是向系统伸请，并由系统完成这些功能的过程。那么
转载
2023-07-05 12:49:39
122阅读
本篇接着讲解RDD的API，讲解那些不是很容易理解的API，同时本篇文章还将展示如何将外部的函数引入到RDD的API里使用，最后通过对RDD的API深入学习，我们还讲讲一些和RDD开发相关的scala语法。1) aggregate(zeroValue)(seqOp,combOp) 该函数的功能和reduce函数一样，也是对数据进行聚合操作，不过aggregate可以返
1、什么是Spark？官网：http://spark.apache.org 翻译：Spark是一个针对大规模数据处理的统一分析引擎Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含Sp
转载
2023-08-11 19:09:19
111阅读
spark简介及spark部署、原理和开发环境搭建spark简介Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。是加州大学伯克利分校AMP实验室（Algorithms, Machines, and People Lab）开发的通用内存并行计算框架Spark得到了众多大数据公司的支持，这些公司包括Hortonworks、IBM、Intel、Cloudera、MapR、Pivotal
转载
2023-09-18 15:54:56
184阅读
Spark的作业和任务调度系统是其核心，它能够有效地进行调度的根本原因是对任务的划分DGG和容错。下面我们介绍一下相关术语：作业（Job）：RDD中由行动操作所生成的一个或者多个调度阶段调度阶段（Stage）：每个作业会因为RDD之间的依赖关系拆分成多组任务集合，称为调度阶段，也叫做任务集合（TaskSet）。调度阶段的划分是由DAGScheduler俩划分的，调度阶段由ShuffleMapSta
程序员常说的API，他到底是个啥定义（たぶん？）：一些实例：更深入的了解： 定义（たぶん？）：API（Application Program Interface），可以被翻译为应用程序界面（来自百度百科）或者应用程序编程接口（来自网络） 它可以被理解成封装好的函数、可供调用的轮子。它可以使程序员在无需访问源代码，理解内部逻辑的前提下完成对功能的调用。API被定义为应用程序可用以与计算机操作系统交
转载
2023-07-05 12:49:31
101阅读
原文地址：http://spark.apache.org/docs/latest/running-on-yarn.html spark在0.6.0及以后的版本支持部署在Yarn模式下Hadoop nextgen 在Yarn模式下部署Spark首先保证HADOOP_CONF_DIR和YARN_CONF_DIR 指向的文件夹包含hadoop集群的 配置文件。这些配置文件用于写HDFS文件和连接到Y
一、Scala简介（一）Scala概述 Scala是Scalable Language的简写，是一门多范式的编程语言，由联邦理工学院洛桑（EPFL）的Martin Odersky于2001年基于Funnel的工作开始设计，设计初衷是要集成面向对象编程和函数式编程的各种特性。Scala是一种将面向对象和函数式编程结合在一起的高级语言，旨在以简洁、优雅和类型安全的方式表达通用编程模式。Sca
上篇文章聊到了对账系统业务逻辑以及千万数据集对账系统存在的难点，这篇文章就来聊下千万级数据集下对账系统实现方案。首先我们先来看下对账整体时序图，先有个印象：下面整篇文章将会围绕上面时序图开始讲解，由于文章篇幅过长，所以文章将会拆分成上下两部分。数据平台上次文章中提到，千万级数据需要使用 Hive，Spark等相关大数据技术，这就离不开大数据平台的技术支
一、段寄存器DS在上章中，我们熟悉了通用寄存器和CS、IP寄存器，知道通用寄存器AX，BX,CX,DX是用来存放一般性数据的，而CS:IP是指示CPU当前所要读取指令的地址的。这一章中，将了解段寄存器DS的使用。DS的全称是Data Segment,意为数据寄存器。那它有什么作用呢？CPU在读写一个内存单元的时候，必须知道内存单元的地址，而地址又是由“段地址：偏移地址”确定的。DS就是用来存放这个
转载
2023-07-13 23:22:06
184阅读
Spark GraphX是一个分布式图处理框架，基于 Pregel 接口实现了常用的图算法。包括 PageRank、SVDPlusPlus、TriangleCount、 ConnectedComponents、LPA 等算法，以下通过具象化的图实例理解相应的算法用途。Graphx图结构Graphx中的Graph有两个RDD，一个是边RDD，一个是点RDD。此外，三元组其实就是（点、边，点）一个有效
Val 和Var 的区别一、最直观的就是：val定义的变量不能被再次赋值，而var定义的可以，见下图scala> val s=10
s: Int = 10
scala> s=11
<console>:27: error: reassignment to val
s=11
^
scala> var a=10
a: Int = 1
spark的 前世今生标签（空格分隔）： Spark的部分一：大数据的spark概述二：大数据的spark学习一： 大数据的概述1.1 Spark是什么？Spark，是一种通用的大数据计算框架，正如传统大数据技术Hadoop的MapReduce、Hive引擎，以及Storm流式实时计算引擎等。
Spark包含了大数据领域常见的各种计算框架：比如Spark Core用于离线计算，Spar
转载
2023-09-05 22:44:27
42阅读
刚刚看资讯，得知2014年4月19日，刚刚召开了一个Spark技术峰会，据说我们学校老师还有参加的，就很好奇，什么是spark呢？马上很深入的学习，不太现实，将自己稍做的了解，记录再次，下次在学习时，也会容易些。（闲话少扯）来自百度百科：Spark是一个基于内存计算的开源的集群计算系统，目的是让数据分析更加快速。（是不是又跟大数据相关呢？）Spark非常小巧玲珑，由加州伯克利大学AMP实验室的Ma
转载
2023-08-07 15:51:08
93阅读
文章目录RDD概述1. [RDD是什么](https://spark.apache.org/docs/latest/rdd-programming-guide.html)2. 为什么会产生RDDRDD的细节1. RDD的属性2. RDD的弹性RDD的特点1. RDD可在逻辑上进行分区2. RDD中的数据是只读的3. RDD之间具备依赖性4. 多次使用的RDD可以被缓存5. RDD支持Che
转载
2023-08-08 13:27:53
153阅读
spark的基本概念(术语词典）Spark运行模式spark可以在本地模式运行，也可以伪分布式运行。分布式运行的方式有三种，底层资源的调度可以使用mesos或者yarn，也可以使用自带的standalone模式。spark standalone：需要部署spark到相关节点，包括master和workeryarn-cluster:Driver和Executor都运行在Yarn集群中。yarn-cl
转载
2023-08-11 22:36:51
69阅读
API的概念API（Application Programming Interface,应用程序编程接口）是一些预先定义的函数，目的是提供应用程序与开发人员基于某软件或硬件得以访问一组例程的能力，而又无需访问源码，或理解内部工作机制的细节。任何开发语言都有自己的APIAPI的特征输入和输出(I/O)API的使用方法(console.log()) Web API的概念浏览器提供的一套操作浏
前言API层就是网络层，是一个App必不可少的模块。我从12年开始做安卓开发，从这些年的开发经验中对API层的实践进行一些总结，内容方面主要是围绕HttpClient的选择，响应处理的编程模型和通知UI数据更新的最佳方式。以下内容仅仅是个人观点，与实际内容如有出入，烦请指出；若喷，请轻点。SDK中的Http Client标题中的Http Client是一个泛指，可能与某个http请求库重名，它泛指
转载
2023-08-17 23:37:21
119阅读
spark 2.1.1 一 问题重现问题代码示例object MethodPositionTest {
val sparkConf = new SparkConf().setAppName("MethodPositionTest")
val sc = new SparkContext(sparkConf)
val spark = SparkSession.buil
"扩展"和"插件"，其实都是软件组件的一种形式，Chrome 只不过是把两种类型的组件分别给与了专有名称，一个叫"扩展"，另一个叫"插件"。扩展（Extension），指的是通过调用 Chrome 提供的 Chrome API 来扩展浏览器功能的一种组件，工作在浏览器层面，使用 HTML + Javascript 语言开发[*]。比如著名的 Adblock plus。插件（Plug-in），指的是
