文章目录一、Spark作业资源的设置情况二、DataFrame/Dataset/RDD的区别及编程三、Spark中的隐式转换的作用：结合Scala来学习 一、Spark作业资源的设置情况 性能调优的王道，就是增加和分配更多的资源，性能和速度上的提升是显而易见的，基本上，在一定范围之内，增加资源与性能的提升是成正比的。写完了一个复杂的Spark作业之后，进行性能调优的时候，首先第一步，就是要调节
转载
2023-08-11 17:16:43
120阅读
Spark core面试篇02 1.cache后面能不能接其他算子,它是不是action操作？ 答：cache可以接其他算子，但是接了算子之后，起不到缓存应有的效果，因为会重新触发cache。 cache不是action操作 2.reduceByKey是不是action？ 答：不是，很多人都会以为是action，reduce rdd是action 3.数据本地性是在哪个环节确定的？ 具体的task
转载
2023-09-29 14:03:37
102阅读
前言上篇文章给大家介绍在java面试中常见一些面试问题并给出了相应的参考答案，主要包括Java SE中的多线程问题、反射中常见的一些面试题以及对象的拷贝和Java Web中常见的一些问题。本文继续给大家介绍java中的常见面试题，首先给大家介绍的就是java中常见的异常问题：一、异常1、 throw 和 throws 的区别？• throws：是声明可能会抛出一个异常。2、 final、final
转载
2023-10-16 10:17:10
70阅读
主要是总结Java面试当中经常问到的Java知识点，总结到一篇博客当中，并给出参考解答或者参考链接。Java知识点java双亲委派机制及作用
什么是双亲委派机制？一个类加载器收到类加载请求之后，首先判断当前类是否被加载过。已经被加载的类会直接返回，如果没有被加载，首先将类加载请求转发给父类加载器，一直转发到启动类加载器，只有当父类加载器无法完成时才尝试自己加载。
顺序： 加载类顺序：Bootstr
转载
2023-08-09 13:40:36
51阅读
Spark处理字符串日期的max和min的方式
Spark处理数据存储到Hive的方式
Spark处理新增列的方式map和udf、functions
Spark处理行转列pivot的使用
Python 3.5.3
Spark1.6.2
原创
2017-12-02 22:06:17
1247阅读
点赞
cache checkpoint groupBykey和reduceByKey区别 BlockManager MapReduce过程 RDD的五大特性 RDD的依赖关系 shuffle过程 spark搭建 spark运行时 spark-client spark-cluster 资源调度和任务申请 ...
转载
2021-07-21 19:53:00
227阅读
2评论
Spark基础 Spark优势 优秀的数据模型与丰富计算抽象 Spark 借鉴了 MapReduce 思想发展而来，保留了其分布式并行计算的优点并改进了其明显的缺陷。 让中间数据存储在内存中提高了运行速度、并提供丰富的操作数据的 API 提高了开发速度。 完善的生态圈-fullstack Spark ...
转载
2021-10-13 20:01:00
418阅读
2评论
1.Spark集群部署及开发环境搭建。内容包括Hadoop集群、Spark集群搭建，Intellij IDEA Spark开发环境搭建, Spark Shell的使用等。2.Spark 运行原理。内容包括spark脚本文件解析、Spark 几种不同运行方式、RDD原理、宽依赖与窄依赖、Spark 任务调度等。3.Spark 编程模型，介绍Spark编程模型、对常用的transformation及a
原创
2015-10-13 10:59:32
826阅读
基础篇：操作系统、计算机网络、设计模式一：操作系统1. 进程
转载
2023-07-20 16:11:05
116阅读
自然语言处理（Natural Language Processing，简称NLP）是人工智能领域中的一个重要分支，主要研究如何使计算机能够理解、理解和生成自然语言。在现代社会中，NLP已经广泛应用于各种领域，如机器翻译、情感分析、信息检索等。在NLP面试中，常见的知识点包括文本预处理、词向量表示、文本分类、文本生成等。
### 文本预处理
文本预处理是NLP的第一步，用于将原始文本数据转换为适
原创
2024-06-16 05:32:38
34阅读
第一题需求
我们有如下的用户访问数据
userId visitDate visitCount
u01 2017/1/21 5
u02 2017/1/23 6
u03 2017/1/22 8
u04 2017/1/20 3
u01 2017/1/23 6
u01 2017/2/21 8
U02 2017/1
function class(...)
-- 返回的表类似“类”的定义
local cls = {}
-- 数据都存储在这里面，用作数据存储空间
local data = {}
-- 复制传入...的的成员。传入的...类似类定义中的成员列表。需要将父类，以及...内的成员都复制过来
local function copyField(src, de
转载
2024-07-18 22:03:22
75阅读
C/C++/STL/Python(熟练) 常见C++面试题及基本知识点总结（一） 常见C/C++笔试、面试题（二） C：内存对齐，字符串，指针，文件操作 1. 字节对齐 解析：对于单层结构体要遵循下面2个原则: （1）结构体变量中每个成员的偏移量都要是其自身大小的整数倍（第一个成员直接不用看可以,因
转载
2017-12-23 20:23:00
123阅读
2评论
内存 java内存 java 垃圾回收机制 多线程 ThreadPool handler loop handlerThread intentSever ansytask 进程通信 事件传递 dispatchTouchEventonInterceptTouchEventonTouchEventrequ
转载
2018-01-22 11:41:00
141阅读
2评论
SQL面试通关秘籍：面试知识点+技巧分享！
转载
2022-05-06 21:53:45
136阅读
转载
2021-05-12 09:15:00
180阅读
2评论
（1）linux中的epollIO多路复用（IO multiplexing）技术。是为处理大批量句柄而作了改进的poll。(2)epoll的优点—支持一个进程打开大数目的socket描述符(FD)：实际例子tornado服务器ioloop----epoll----socket(解决C10K，实现高并发，HTTP长久连接问题)，是Tornado不依靠多进程/多线程而达到高性能的原因（tornado服务器是单进程的）—IO效率不随FD数目增加而线性下降—.使用mmap加速内核与用户空间的消息传递—内
原创
2021-07-14 15:55:29
171阅读
面试知识点 jq Vue 初级 生命周期 v-if,v-show区别 组件通信方式 路由传参 哪几种方式 区别 data 为什么是函数不是对象 create 和 mounted 区别 computed 和 watch 区别 指令有哪些 修饰符有哪些 中级 双向绑定原理 模板原理 虚拟dom mvvm ...
转载
2021-11-03 12:00:00
202阅读
2评论
大部分内容取自thinking in java。。宝r;import java.nio.ch
原创
2023-07-18 16:23:15
65阅读
1 String Stringbuilder StringBuffer的区别？(1)String 和stringBuffer是线程安全的，而strin
原创
2023-02-01 07:49:25
57阅读
