大数据面试宝典的博客_Java内核,JVM内核,大数据

Scala入门_函数

函数scala支持函数式编程，将来编写Spark/Flink程序中，会大量使用到函数定义函数语法val 函数变量名 = (参数名:参数类型, 参数名:参数类型....) => 函数体[!TIP]函数是一个对象（变量）类似于方法，函数也有输入参数和返回值函数定义不需要使用def定义无需指定返回值类型示例定义一个两个数值相加的函数调用该函数参考代码scala> val add =

大数据

scala

spark

赋值

函数对象

原创点赞0 阅读38 收藏0 评论0 2022-02-16

Scala入门_方法调用方式

方法调用方式在scala中，有以下几种方法调用方式，后缀调用法中缀调用法花括号调用法无括号调用法在后续编写spark、flink程序时，我们会使用到这些方法调用方式。后缀调用法这种方法与Java没有区别。语法对象名.方法名(参数)示例使用后缀法Math.abs求绝对值参考代码scala> Math.abs(-1)res3: Int = 1中...

java

scala

大数据

方法调用

操作符

原创点赞0 阅读34 收藏0 评论0 2022-02-16

Scala入门_不可变列表与可变列表

列表列表是scala中最重要的、也是最常用的数据结构。List具备以下性质：可以保存重复的值有先后顺序在scala中，也有两种列表，一种是不可变列表、另一种是可变列表定义不可变列表就是列表的元素、长度都是不可变的。语法使用List(元素1, 元素2, 元素3, ...)来创建一个不可变列表，语法格式：val/var 变量名 = List(元素1, 元素2, 元素3...)使用Nil

scala

列表

大数据

变量名

删除元素

原创点赞0 阅读83 收藏0 评论0 2022-02-16

Scala入门_列表的常用操作

列表常用操作以下是列表常用的操作判断列表是否为空（isEmpty）拼接两个列表（++）获取列表的首个元素（head）和剩余部分(tail)反转列表（reverse）获取前缀（take）、获取后缀（drop）扁平化（flaten）拉链（zip）和拉开（unzip）转换字符串（toString）生成字符串（

列表

大数据

scala

并集

元组

原创点赞0 阅读7 收藏0 评论0 2022-02-16

Scala入门_变长数组

变长数组变长数组指的是数组的长度是可变的，可以往数组中添加、删除元素定义变长数组创建变长数组，需要提前导入ArrayBuffer类import scala.collection.mutable.ArrayBuffer语法创建空的ArrayBuffer变长数组，语法结构：val/var a = ArrayBuffer[元素类型]()创建带有初始元素的ArrayBuff...

大数据

scala

spark

数组

hadoop

原创点赞0 阅读112 收藏0 评论0 2022-02-16

Scala入门_数组

数组scala中数组的概念是和Java类似，可以用数组来存放一组数据。scala中，有两种数组，一种是定长数组，另一种是变长数组定长数组定长数组指的是数组的长度是不允许改变的数组的元素是可以改变的语法// 通过指定长度定义数组val/var 变量名 = new Array[元素类型](数组长度)// 用元素直接初始化数组val/var 变量名 = Array(元素1...

scala

大数据

数组

java

其他

原创点赞0 阅读26 收藏0 评论0 2022-02-16

Scala入门_遍历数组的两种方式

遍历数组可以使用以下两种方式来遍历数组：使用for表达式直接遍历数组中的元素使用索引遍历数组中的元素示例一定义一个数组，包含以下元素1,2,3,4,5使用for表达式直接遍历，并打印数组的元素参考代码scala> val a = Array(1,2,3,4,5)a: Array[Int] = Array(1, 2, 3, 4, 5)scala&...

spark

大数据

scala

数组

遍历数组

原创点赞0 阅读98 收藏0 评论0 2022-02-16

Scala入门_元组

元组元组可以用来包含一组不同类型的值。例如：姓名，年龄，性别，出生年月。元组的元素是不可变的。定义元组语法使用括号来定义元组val/var 元组 = (元素1, 元素2, 元素3....)使用箭头来定义元组（元组只有两个元素）val/var 元组 = 元素1->元素2示例定义一个元组，包含一个学生的以下数据id姓名年龄地址1zha...

spark

scala

大数据

元组

数据

原创点赞0 阅读5 收藏0 评论0 2022-02-16

Scala入门_不可变集与可变集

# SetSet(集)是代表没有重复元素的集合。Set具备以下性质：元素不重复不保证插入顺序scala中的集也分为两种，一种是不可变集，另一种是可变集。不可变集定义语法创建一个空的不可变集，语法格式：val/var 变量名 = Set[类型]()给定元素来创建一个不可变集，语法格式：val/var 变量名 = Set(元素1, 元素2, 元素3...)示...

scala

开发语言

后端

删除元素

变量名

原创点赞0 阅读92 收藏0 评论0 2022-02-16

Scala入门_映射的基本操作

Map基本操作基本操作获取值(map(key))获取所有key（map.keys）获取所有value（map.values）遍历map集合getOrElse增加key,value对删除key示例定义一个映射，包含以下学生姓名和年龄数据"zhangsan", 30"lisi", 40获取zhangsan的年龄获取所有的学生姓名获取所有的学生年...

大数据

scala

基本操作

数据

其他

原创点赞0 阅读3 收藏0 评论0 2022-02-16

Scala入门_映射

映射Map可以称之为映射。它是由键值对组成的集合。在scala中，Map也分为不可变Map和可变Map。不可变Map定义语法val/var map = Map(键->值, 键->值, 键->值...) // 推荐，可读性更好val/var map = Map((键, 值), (键, 值), (键, 值), (键, 值)...)示例定义一个映射，包含以...

大数据

scala

spark

数据

键值对

原创点赞0 阅读9 收藏0 评论0 2022-02-16

Scala进阶_函数式编程(遍历)

函数式编程我们将来使用Spark/Flink的大量业务代码都会使用到函数式编程。下面的这些操作是学习的重点。遍历（foreach）映射（map）映射扁平化（flatmap）过滤（filter）是否存在（exists）排序（sorted、sortBy、sortWith）分组（groupBy）聚合计算（reduce）折叠（fold）遍历 | foreach之前，学习过...

scala

开发语言

后端

函数定义

下划线

原创点赞0 阅读21 收藏0 评论0 2022-02-16

Scala进阶_类和对象

类和对象scala是支持面向对象的，也有类和对象的概念。我们依然可以基于scala语言来开发面向对象的应用程序。创建类和对象用法使用class来定义一个类使用new来创建对象示例创建一个Person类，并创建它的对象步骤创建一个scala项目，并创建一个Object添加main方法创建类和对象实现在IDEA中创建项目，并创建一个Object（main方法必须放在Object

scala

大数据

成员变量

main方法

初始化

原创点赞0 阅读26 收藏0 评论0 2022-02-16

启动Hive报错java.sql.SQLException: Access denied for user ‘root‘@‘node16‘ (using password: YES)

上截图原因分析我的配置文件中mysql的账号密码没问题使用账号密码也可以正常进入mysql权限也没问题解决方案1.重新设置一下mysql密码与hive配置文件中一致进入mysqlSET PASSWORD=PASSWORD('XXXXXX');xxx为你的密码(自定义,与hive配置中一致即可)2.刷新mysql配置(重要!!!)flush privileges;...

hive

mysql

大数据

hive配置

自定义

原创点赞0 阅读66 收藏0 评论0 2022-02-16

Scala进阶_trait特质(超详细)

特质(trait)scala中没有Java中的接口（interface），替代的概念是——特质定义特质是scala中代码复用的基础单元它可以将方法和字段定义封装起来，然后添加到类中与类继承不一样的是，类继承要求每个类都只能继承一个超类，而一个类可以添加任意数量的特质。特质的定义和抽象类的定义很像，但它是使用trait关键字语法定义特质trait 名称 { // 抽象字...

大数据

scala

构造器

抽象方法

字段

原创点赞0 阅读18 收藏0 评论0 2022-02-16

Scala进阶_函数式编程()

映射 | map集合的映射操作是将来在编写Spark/Flink用得最多的操作，是我们必须要掌握的。因为进行数据计算的时候，就是一个将一种数据类型转换为另外一种数据类型的过程。map方法接收一个函数，将这个函数应用到每一个元素，返回一个新的列表用法方法签名def map[B](f: (A) ⇒ B): TraversableOnce[B]方法解析map方法API...

大数据

scala

泛型

函数对象

其他

原创点赞0 阅读3 收藏0 评论0 2022-02-16

Scala入门_定义方法

方法一个类可以有自己的方法，scala中的方法和Java方法类似。但scala与Java定义方法的语法是不一样的。定义方法语法def methodName (参数名:参数类型, 参数名:参数类型) : [return type] = { // 方法体：一系列的代码}[!NOTE]参数列表的参数类型不能省略返回值类型可以省略，由scala编译器自动推断返回值可以不写return，默认就是{

scala

spark

大数据

值类型

参数类型

原创点赞0 阅读18 收藏0 评论0 2022-02-16

Scala入门_方法参数

方法参数scala中的方法参数，使用比较灵活。它支持以下几种类型的参数：默认参数带名参数变长参数默认参数在定义方法时可以给参数定义一个默认值。示例定义一个计算两个值相加的方法，这两个值默认为0调用该方法，不传任何参数参考代码// x，y带有默认值为0 def add(x:Int = 0, y:Int = 0) = x + yadd()带名参数在调用...

大数据

scala

spark

变长参数

调用方法

原创点赞0 阅读27 收藏0 评论0 2022-02-16

Scala入门_数组的常用算法

数组常用算法scala中的数组封装了一些常用的计算操作，将来在对数据处理的时候，不需要我们自己再重新实现。以下为常用的几个算法：求和——sum方法求最大值——max方法求最小值——min方法排序——sorted方法求和数组中的sum方法可以将所有的元素进行累加，然后得到结果示例定义一个数组，包含以下几个元素（1,2,3,4)请计算该数组的和参考代码scala> val a = A

大数据

spark

scala

数组

最小值

原创点赞0 阅读30 收藏0 评论0 2022-02-16

Scala进阶_成员访问修饰符

访问修饰符和Java一样，scala也可以通过访问修饰符，来控制成员变量和成员方法是否可以被访问。定义Java中的访问控制，同样适用于scala，可以在成员前面添加private/protected关键字来控制成员的可见性。但在scala中，没有public关键字，任何没有被标为private或protected的成员都是公共的案例定义一个Person类[外链图片转存失败,源站可能

scala

大数据

访问修饰符

成员变量

原创点赞0 阅读34 收藏0 评论0 2022-02-16

Hadoop源码剖析09-javaNIO（一）

1.基本的java套接字(socket)客户端所做的事情:连接远程机器发送数据接受数据关闭连接服务器所做的事情:绑定端口监听入站数据在所绑定的端口上接受来自远程机器的连接socket源码public class Socket{//构造函数public Socket();//连接到远程函数public void connect(SocketAddress end...

大数据

java

socket

服务器

客户端

原创点赞0 阅读73 收藏0 评论0 2022-02-16

Scala进阶_函数式编程(扁平化映射)

扁平化映射 | flatMap扁平化映射也是将来用得非常多的操作，也是必须要掌握的。定义可以把flatMap，理解为先map，然后再flattenmap是将列表中的元素转换为一个Listflatten再将整个列表进行扁平化方法签名def flatMap[B](f: (A) ⇒ GenTraversableOnce[B]): TraversableOnce[B]方法...

大数据

scala

flink

hive

hadoop

原创点赞0 阅读27 收藏0 评论0 2022-02-16

Scala入门_break和continue

break和continue在scala中，类似Java和C++的break/continue关键字被移除了如果一定要使用break/continue，就需要使用scala.util.control包的Break类的breable和break方法。实现break用法导入Breaks包import scala.util.control.Breaks._使用breakable将...

scala

spark

大数据

方法调用

java

原创点赞0 阅读24 收藏0 评论0 2022-02-16

Scala入门_开发环境安装

开发环境安装学习如何编写scala代码之前，需要先安装scala编译器以及开发工具Java程序编译执行流程Scala程序编译执行流程scala程序运行需要依赖于Java类库，必须要有Java运行环境，scala才能正确执行根据上述流程图，要编译运行scala程序，需要jdk（jvm）scala编译器（scala SDK）接下来，需要依次安装以下内容：安装JDK安装...

大数据

编程语言

Scala

scala

spark

原创点赞0 阅读64 收藏0 评论0 2022-02-16

Hadoop源码剖析10-Hadoop的IPC代码实现

什么是HadoopIPC?在Hadoop中，不同节点间使用RPC机制进行通信，在Java中比较典型的RPC是RMI(Remote Method Invocation)的调用方式，虽然Hadoop使用Java语言实现的，但是Hadoop并没有使用RMI实现RPC，而是实现了一套自己独有的节点通信机制，称为Hadoop IPC（Inter-Process Communication，进程间通信）。...

大数据

java

hdfs

hadoop

进程间通信

原创点赞0 阅读23 收藏0 评论0 2022-02-16

2020最新Java线程池入门(超详细)

1 为什么要使用线程池?a.假如线程创建的时间是time1,线程执行的时间是time2,线程销毁的时间呢是time3,往往time1+time3>time2,所以频繁的创建线程,会消耗额外的时间b.如果等到有任务来了,在去创建线程的话效率就会比较低,如不把线程放在某个地方,任务来了,直接把线程拿过来用比较好c.线程池可以管理控制线程,线程是稀缺资源,如果不停地创建线程会消耗大量的系统资...

java

多线程

线程池

入门

创建线程

原创点赞0 阅读31 收藏0 评论0 2022-02-16

Scala入门_iterator迭代器

iterator迭代器scala针对每一类集合都提供了一个迭代器（iterator）用来迭代访问集合使用迭代器遍历集合使用iterator方法可以从集合获取一个迭代器迭代器的两个基本操作hasNext——查询容器中是否有下一个元素next——返回迭代器的下一个元素，如果没有，抛出NoSuchElementException每一个迭代器都是有状态的迭代完后保留在最后一...

大数据

spark

scala

迭代器

迭代

原创点赞0 阅读13 收藏0 评论0 2022-02-16

Scala入门_循环

循环在scala中，可以使用for和while，但一般推荐使用for表达式，因为for表达式语法更简洁 for表达式语法for(i <- 表达式/数组/集合) { // 表达式} 简单循环使用for表达式打印1-10的数字步骤生成1-10的数字（提示：使用to方法）使用for表达式遍历，打印每个数字参考代码1scala> val nums = 1.to(10)

大数据

spark

scala

整除

数组

原创点赞0 阅读6 收藏0 评论0 2022-02-16

Scala入门_条件表达式

条件表达式条件表达式就是if表达式，if表达式可以根据给定的条件是否满足，根据条件的结果（真或假）决定执行对应的操作。scala条件表达式的语法和Java一样。有返回值的if与Java不一样的是，在scala中，条件表达式也是有返回值的在scala中，没有三元表达式，可以使用if表达式替代三元表达式示例定义一个变量sex，再定义一个result变量，如果sex等于"male"，result等于

scala

开发语言

后端

java

原创点赞0 阅读40 收藏0 评论0 2022-02-16

Scala入门_变量

声明变量我们将来每一天编写scala程序都会定义变量。那scala语言如何定义变量呢？语法格式Java变量定义int a = 0;在scala中，可以使用val或者var来定义变量，语法格式如下:val/var 变量标识:变量类型 = 初始值其中 val定义的是不可重新赋值的变量 var定义的是可重新赋值的变量[!NOTE]scala中定义变量类型写在变量名后

scala

编程语言

spark

赋值

sql语句

原创点赞0 阅读29 收藏0 评论0 2022-02-16

官方博客	意见反馈	了解我们	全部文章
在线客服	网站地图	热门标签

51CTO博客

大数据面试宝典