1.什么是spark？ spark是基于内存计算的通用大数据并行计算框架，是一个快速、通用可扩展的大数据分析引擎。它给出了大一统的软件开发栈，适用于不同场合的分布式场景，如批处理、迭代算法、交互式查询、流处理、机器学习和图计算。2.Spark生态系统？ SparkCore：spark的核心计算 主要Rdd SparkSQLa：提供了类sql方式操作结构化半结构化数据。对历史数据进行交互式查询。（即
转载
2024-09-06 11:58:18
54阅读
spark运行流程 1.Driver创建一个sparkContext2.sparkContext向资源管理器注册并申请启动executor,资源管理器启动executor3.executor向sparkContext申请task4.sparkContext将应用程序分发给executor5.sparkContext建成DAG图，DAGScheduler将DAG图解析成stag
转载
2023-08-07 20:23:57
90阅读
1.什么是spark？Spark 是一个用来实现快速而通用的集群计算的平台。2.Spark生态系统？spark core：spark 核心计算 spark sql： 对历史数据的交互式查询 spark streaming ： 近实时计算 spark ml ： 机器学习 spark graphx ： 图计算3.常见的 分布式文件系统？hdfs fastdfs Tachyon TFS(淘宝用) GFS
转载
2024-01-11 13:20:06
113阅读
# Spark 英文笔试题解决过程记录
在当前的数据处理和分析领域，Apache Spark越来越受欢迎。为了帮助更好地理解和解决“Spark英文笔试题”相关问题，接下来将详细展示相应的准备、步骤及扩展应用。
## 环境准备
在进行Spark相关的开发之前，需要确保所需的工具和依赖已安装。
```bash
# 安装 Java JDK
sudo apt-get install openjdk
Spark core面试篇02 1.cache后面能不能接其他算子,它是不是action操作？ 答：cache可以接其他算子，但是接了算子之后，起不到缓存应有的效果，因为会重新触发cache。 cache不是action操作 2.reduceByKey是不是action？ 答：不是，很多人都会以为是action，reduce rdd是action 3.数据本地性是在哪个环节确定的？ 具体的task
转载
2023-09-29 14:03:37
102阅读
一、单选题1、Shuffle中Partitioner 分区发生在哪个过程( A )A. 溢写过程B. 本地MergeC. reduce函数阶段D. map函数阶段 2、在整个maprduce运行阶段，数据是以( A )形式存在的A. key/valueB. LongWritableC.
转载
2023-07-13 11:15:57
123阅读
1、什么是宽依赖，什么是窄依赖？哪些算子是宽依赖，哪些是窄依赖？ 窄依赖就是一个父RDD分区对应一个子RDD分区，如map，filter 或者多个父RDD分区对应一个子RDD分区，如co-partioned join宽依赖是一个父RDD分区对应非全部的子RDD分区，如groupByKey，ruduceByKey 或者一个父RDD分区对应全部的子RDD分区，如未经协同划分的join https://
转载
2023-09-05 16:28:42
126阅读
1、说说你对spring的理解，或者说下什么是spring？分析：主要考察求职者对spring的整体掌握度，附带考察求职者思维缜密度、表达能力等，面对这类半开放型题目，我们只需要围着理论依据+实际使用经验，展开描述即可，千万不要去背官方的甲骨文，要附带自己的理解和见解。答：spring是一款主流的非侵入式设计、轻量级web框架，最大特点是面向Java bean编程，降低了类之间的耦合性，
其IOC
转载
2024-03-12 14:05:38
185阅读
3、写一个a个字节对齐的宏正确答案：#pragma pack(a) VC中提供了#pragma pack(n)宏，使我们可以屏蔽默认对齐方式，来设定变量以n字节对齐方式。n字节对齐就是说变量存放的起始地址的偏移量有两种情况：第一、如果n大于等于该变量所占用的字节数，那么偏移量必须满足默认的对齐方式，第二、如果n小于该变量的类型所占用的字节数，那么偏移量为n的倍数，...
原创
2021-09-29 09:44:15
311阅读
3、写一个a个字节对齐的宏 正确答案：#pragma pack(a) VC中提供了#pragma pack(n)宏，使我们可以屏蔽默认对齐方式，来设定变量以n字节对齐方式。n字节对齐就是说变量存放的起始地址的偏移量有两种情况：第一、如果n大于等于该变量所占用的字节数，那么偏移量必须满足默认的对齐方式，第二、如果n小于该变量的类型所占用的字节数，那么偏移量为n的倍数，不用满足默认
转载
2012-10-26 11:34:00
245阅读
2评论
第一组 1.烧一根不均匀的绳，从头烧到尾总共需要1个小时。现在有若干条材质相同的绳子，问如何用烧绳的方法来计时一个小时十五分钟呢? 2.你有一桶果冻，其中有***、绿色、红色三种，闭上眼睛抓取同种颜色的两个。抓取多少个就可以确定你肯定有两个同一颜色的果冻? 3.如果你有无穷多的水，一个3公升的提捅，一个5公升的提捅，两只提捅形状
转载
精选
2015-09-27 17:15:46
567阅读
1、 编写一个类，在main方法中定义一个Map对象（採用泛型）。增加若干个对象。然后遍历并打印出各元素的key和value。 package com.itheima; import java.util.Iterator; import java.util.Map; import java.util
转载
2017-04-27 18:44:00
137阅读
'''1.⼩⽩去附近店铺买橘⼦，⽬前商店做活动，提供捆绑打包销售，例如每袋3个和每 袋5个的形式出售。现⼩⽩只想购买n个橘⼦，同时想购买尽量少的袋数⽅便携带。如 果不能购买恰好n个橘⼦，就不会购买（可返回-1），求解输出最少的袋数。（例如： 18） ''' # def getnum(n): # ''
原创
2022-06-16 09:30:56
339阅读
下面的排序算法中，初始数据集的排列顺序对算法的性能无影响的是（B）A、插入排序 B、堆排序 C、冒泡排序 D、快速排序 （B）设计模式将抽象部分与它的实现部分相分离。A、Singleton（单例）
转载
2022-07-19 14:05:41
157阅读
一、单项选择题 1．Java是从（B）语言改进重新设计。 A．Ada B．C++ C．Pasacal D．BASIC 2．下列语句哪一个正确（B） A． Java程序经编译后会产生machine c...
转载
2014-07-23 22:53:00
267阅读
2评论
1. 页面布局模型（③种） ① 流动模型flow 默认的网页布局模式 块级元素：自上向下排序，块级元素以行的形式占据位置 行内元素：从左到右排序 ② 浮动模型float float: left; float: right; ③ 层模型layout position: relative; positi ...
转载
2021-09-01 15:04:00
798阅读
2评论
重新定义. 在派生类中重新定义时,其函数原型,包括返回类型,
转载
2023-02-08 09:57:24
86阅读
一、简答题1.简述你们公司使用的MySQL版本，并说明具体小版本及GA时间？5.6.38
5.7.20
2017-9-132.请介绍你熟悉的数据库的种类和代表产品名称？NoSQL:Redis Mongodb memcache
RDBMS:Oracle MySQL MSSQL PG3.请简述MySQL二进制安装重点步骤？1.下载,上传,解压
2. 创建用户
3. 创建相关目录并授权
4.
转载
2023-09-18 16:59:18
192阅读
发现网上很多Java面试题都没有答案，所以花了很长时间搜集整理出来了这套Java面试题大全，希望对大家有帮助哈~博主已将这些面试题整理到一个网站上，每天更新 Java 面试题，目前有 1万多道 Java 高频面试题。
转载
2023-06-02 19:58:21
369阅读
1 以下代码执行的结果for(var i=0;i<3;++i){
setTimeout(function(){
console.log(i)；
},100);
}解答：这道题涉及了异步、作用域、闭包 settimeout是异步执行，100ms后往任务队列里面添加一个任务，只有主线上的全部执行完，才会执行任务队列里的任务，当主线执行完成后，i是3，所以此时再去执行任务队列里的任务时，i全部是
转载
2023-10-07 21:57:51
164阅读
