一、什么是宽依赖，什么是窄依赖，哪些算子是宽依赖，哪些是窄依赖1、宽依赖：一个分区对应多个分区，这就表明有shuffle过程，父分区数据经过shuffle过程的hash分区器划分子rdd。例如:groupbykey reducebykey sortbykey等操作，shuffle可以理解为数据从原分区打乱重组到新分区2、窄依赖：一个分区对应一个分区，
转载
2023-08-11 17:17:03
136阅读
# Spark面试题目实现流程
## 流程表格
| 步骤 | 说明 |
| ---- | ---- |
| 步骤一 | 准备数据 |
| 步骤二 | 创建SparkSession |
| 步骤三 | 加载数据 |
| 步骤四 | 数据预处理 |
| 步骤五 | 实现面试题目 |
| 步骤六 | 结果展示 |
## 步骤一：准备数据
在开始实现面试题目之前，首先需要准备一些样本数据。可以使用
原创
2023-07-25 17:41:24
99阅读
Spark通常来说，Spark与MapReduce相比，Spark运行效率更高。请说明效率更高来源于Spark内置的哪些机制？hadoop和spark使用场景？spark如何保证宕机迅速恢复?hadoop和spark的相同点和不同点？RDD持久化原理？checkpoint检查点机制？checkpoint和持久化机制的区别？RDD机制理解吗？Spark streaming以及基本工作原理
面试流程和内容大致有以下几个：一、8月9日，友盟软件公司考试大概内容：1、网络部分：Tcp/ip基础知识，交换机的stp协议，vlan，三层交换，路由器的ospf路由协议，bgp协议等。2、unix系统：主要考试内容为hp-unix的基础知识，磁带机的备份等，我以linux作答。3、windows系统：活动目录的基本知识，组策略。4、数据库：主要考试了oracle，informix，sql数据库的
转载
2008-07-25 10:05:45
1780阅读
在面试中，你会被问到的问题将是：关于你，你的技能和经验的一般问题关于特定工作的具体问题 - 有时称为技术问题对于许多不同类型的工作，一般问题可以是相同的。以下是一些可以被问到的常见问题。1.你的技能您的面试官想知道您是否具备完成工作的技能，因此他们可能会问：你的优势和弱势是什么？你的同事和朋友会说你最好的品质是什么？我们为什么应该录用你？了解自己的优势，并提及与您正在接受面试的工作相
转载
2023-11-22 17:03:13
81阅读
$# 是传给脚本的参数个数 $0 是脚本本身的文件名 $1 是脚本后接的第一个参数 $2 是脚本后接的第二个参数 $@ 是传给脚本的所有参数列表，"$1" "$2" "$3" … "$n" $* 是以一个单字符串显示传给脚本的所有参数，"$1 $2 $3 … $n" $$ 是脚本运行的当前进程ID号
转载
2018-12-31 20:59:00
380阅读
2评论
要求：输入两个整数 n 和 m，从数列 1，2，3.......n 中 随意取几个数, 使其和等于 m 。,要求将其中所有的可能组合列出来--不会做，求指点， #include <stdlib.h>typedef struct{ long first_number; long secend_number;} pair;pair find_sum_numb
转载
2013-07-01 20:45:00
192阅读
2评论
推荐一些技术博客
http://www.zlmind.com/
http://zhulin902.iteye.com/
老紫竹的CSDN主页
http://blog.csdn.net/java2000_net/
CSDN的求职论坛
http://community.csdn.net/
一、String,StringBuffer, StringBuilder 的区别是什
转载
精选
2011-08-17 15:46:50
506阅读
题目一:1、从n个人中选择任意数量的人员组成一支队伍，然后从一支队伍中选出一位队长，不同的队长算不同的组合，问这样的组合的数量对10^9+7取模 。1数据范围：1 n*n/2 2*n-1= n*n-1 ==> n/2*n/2 */ } public static void main(String[] args) { Scanner ...
原创
2022-08-04 16:36:30
233阅读
c/c++ 部分：1. 用 c/c++ 描述 strstr 函数的函数体 2. 将一个 1M -10M 的文件，倒过来存储到另一个文件，就是前一个文件的最后一个 字符存到新文件的第一个字符，以此类推。 3. 将一个文件按行排序，比较每一行的第一个字符，字符小的靠前，相同再比较下一个 结果也存到一个新文件里 数据库部分：3张表，一个用户表，用户组表，还有一个，用户和组的关系表 题目添加，...
原创
2022-08-09 17:38:42
138阅读
面试题目：
#define MAX 255
int main()
{
unsigned char A[MAX],i;
for (i=0;i<=MAX;i++)
A[i]=i;
}
解答：MAX=255,数组A的下标范围为:0..MAX-1,这是其一,其二 当i循环到255时,循环内执行: A[255]=255;这句本身没有问题，但是返回for (i=0;i&l
转载
2012-07-09 14:32:00
703阅读
1、已经获得一个不出网的服务器的权限，后续的攻击思路，安全人员的检测和阻断方式2、描述一个你见过的复杂的攻击场景3、常见的nc/py/perl等反弹shell
原创
2021-11-20 14:18:31
2030阅读
Posted on 2007-09-22 20:34 停留的风 阅读(94) 评论(0) 编辑 收藏 网摘 所属分类: 面试题目 --> 1. 简述 private、 protected、 public、 internal 修饰符的访问权限。 答 . private : 私有成员, 在类的内部才可以访问。 protected : 保护成员，该类内部和继承类中可以访问。 ...
转载
2008-10-28 23:04:00
144阅读
1， mysql的复制原理以及流程。（1）先问基本原理流程，3个线程以及之间的关联。（2）再问一致性，延时性，数据恢复。（3）再问各种工作遇到的复制bug的解决方法2，mysql中myisam与innodb的区别，至少5点。（1） 问5点不同1>.InnoDB支持事物，而MyISAM不支持事物2>.InnoDB支持行级锁，而MyISAM支持表级锁3>.InnoDB支持MVCC,
转载
2024-06-11 17:32:32
84阅读
Python作为人工智能知识的基础知识，加上有许多公司都在招python方面的程序员，那么小编在这里整理了一些Python最常见的面试题。在python基础中，很明显我们需要了解python的特性，像面向对象思想，字符串的操作，推导式，实例化，多线程多进程以及初始化这些都是必须了解的。在python中，如何交换两个变量的值这个问题，考了python特殊的语法，也就是a, b = b, a，这个表达
Python面试题总结大全一、50 道重要的 Python 面试题【问答题+编程题】1. 说说你用过Python标准库中的哪些模块。2. `init__`和`__new`方法有什么区别？3. 平常工作中用什么工具进行静态代码分析。4. 函数参数`arg`和`*kwargs`分别代表什么？5. 什么是鸭子类型（duck typing）？6. 说一下Python中变量的作用域。8. 说一下Pytho
SortShuffle1 mapTask将map（聚合算子）或array（join算子）写入内存2 达到阀值发生溢写，溢写前根据key排序，分批写入磁盘，最终将所有临时文件合并成一个最终文件，并建立一份索引记录分区信息。一个mapTask最终形成一个文件。3 reduceTask拉取各个task中自己的分区数据去计算。和hadoop shuffle的区别1 MR没有所谓的DAG划分，一次MR任务就
转载
2023-07-17 22:41:34
85阅读
Spark应用转换流程1、 spark应用提交后，经历了一系列的转换，最后成为task在每个节点上执行2、 RDD的Action算子触发Job的提交，生成RDD DAG3、 由DAGScheduler将RDD DAG转化为Stage DAG，每个Stage中产生相应的Task集合4、 TaskScheduler将任务分发到Executor执行5、
转载
2024-08-16 13:27:22
225阅读
1. kafka分区数如何设置？默认情况下 1 指定分区,按你指定的分区 2 未指定分区,但是指定了key,依据key的hashCode计算分区 3 未指定分区,且没有指定key,依据轮询算法计算分区2. kafka中消息传输一致中的最多一次、最少一次、恰好一次，是如何实现的？恰好一次:acks=-1 ,幂等机制 最多一次:acks=0 最少一次:acks=-1 or acks=13. Spark
转载
2024-02-17 09:35:04
93阅读
为了保证效率和质量，每篇文章发布6个知识点，由简单及难，我们开始spark+kafka：一般情况下面试的时候只要涉及到实时计算或者大批量计算，都会涉及到kafka和spark的面试问题，两者一般是综合起来的的，因此我把他们放在一起进行总结，这一块的问题会比较多，将分不同纬度多次总结。 1）spark的执行流程？1.构建Spark Application的
转载
2023-10-20 22:13:54
71阅读
