download JDK 8, extract and add to .bashrc:export JAVA_HOME=/home/bonelee/jdk1.8.0_211export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATHexport PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATHexport JRE
原创
2023-05-31 10:44:45
57阅读
# Spark Java8 使用三个引号
作为一名经验丰富的开发者，我很高兴能帮助刚入行的小白了解如何使用Spark框架结合Java 8的特性，特别是使用三个引号（三元运算符）来简化代码。下面我将详细介绍整个流程，并用表格和代码示例来展示每一步的操作。
## 流程概述
首先，我们通过一个表格来概述整个实现流程：
| 步骤 | 描述
原创
2024-07-16 03:44:06
82阅读
http://www.importnew.com/14841.html
原创
2022-06-01 11:56:21
212阅读
一个list里面数据 某个属性合并成一个字符串 逗号隔开//String productLineNames = dto.getOwnOppProductLineDTOS().stream().map(OwnOppProductLineDTO::getProductLine).collect(Coll ...
转载
2021-10-29 14:15:00
260阅读
2评论
# Java 8 for 新手入门指南
Java是一种广泛使用的编程语言，而Java 8作为其最新版本，引入了许多新特性和改进，为开发人员提供了更多便利。本文将介绍Java 8的一些重要特性，并通过代码示例来展示其用法。
## Lambda表达式
Lambda表达式是Java 8引入的一项重要特性，可以简化代码并提高可读性。它允许我们像声明函数一样直接在代码中传递行为。
```java
/
原创
2024-07-01 04:35:41
61阅读
java8的特性：java8之前HashMap高效的原因： 1
原创
2022-07-09 00:01:40
249阅读
近年来，随着容器技术的发展，Kubernetes（简称为K8S）已经成为了容器编排领域的领头羊。而在大数据领域，Apache Spark 是一个高效的数据处理框架，通常用于大规模数据处理和分析。如果想在Kubernetes上运行Spark并使用YARN资源管理器，则需要一些特定的配置和操作。下面，我们将详细介绍如何实现"spark k8s yarn"，帮助刚入行的小白更好地理解和操作。
整个实
原创
2024-03-13 10:28:56
84阅读
1、 HashMap 加入了红黑树 2、ConcurrentHashMap 使用了CAS无锁机制 3、 永久区没有了，成了元空间（MetaSpace）。相对于方法区，直接使用的物理内存！相应的PremGenSiz 、 MaxPremGenSize 参数失效了 取而代之的是：MetaSpaceSize
转载
2019-05-13 00:37:00
305阅读
2评论
接口的变化：接口中的方法可以有实现 1.接口中可以有静态方法，可以通过 接口名.方法名 调用。（通常会把返回接口对象的方法放到接口里） 2.接口中可以有默认方法，这类方法为公开的（public）方法，但要加上 default 修饰符，接口的实现类会默认继承此方法，若一个类实现了两个具有相同默认方法的 ...
转载
2021-09-28 11:16:00
206阅读
2评论
欢迎来到 Java 8指南. 这篇教程会一步步指导你深入Java8的新特点，在简短的代码示例的支持下，您将学习到如何使用default默认接口方法, lambda表达式, 方法引用(method references) and 重复注解(repeatable annotations). 文章结尾你还会熟悉最新的API改动，比如streams，函数式接口，map扩展，和新的Date API。No w
Java 8 是 Java 编程语言的一个重要版本，它于 2014 年 3 月 18 日发布。Java 8 引入了许多新功能和改进，其中最重要的是 Lambd
原创
2024-04-17 10:18:43
45阅读
一、spark源码分析执行流程当spark遇到action类算子，开始调起任务 1.Action类型的算子触发job的执行。源码中调用了SparkContext的runJob()方法，根进源码发现底层调用的是DAGScheduler的runJob()方法。2.DAGScheduler会将我们的job按照宽窄依赖划分为一个个stage(每个stage根据RDD的Partition的个数决定task的
转载
2023-10-26 15:49:24
118阅读
# Spark on Kubernetes vs Spark on YARN 对比
## 流程概述
下面是Spark on Kubernetes和Spark on YARN的对比流程图：
| 步骤 | Spark on Kubernetes | Spark on YARN |
| --- | --- | --- |
| 1 | 配置Kubernetes集群 | 配置YARN集群 |
| 2
原创
2023-10-12 11:34:23
277阅读
# Spark on K8s 如何实现与 Spark on YARN 的通信
随着云计算的快速发展，越来越多的企业将他们的应用迁移至 Kubernetes（K8s）环境中。Apache Spark 是一个流行的分布式计算框架，支持大规模数据处理。在 Kubernetes 中运行 Spark，能够利用其灵活的资源管理。然而，如何在 Kubernetes 中使用 Spark 进行与 YARN 部署的
???欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识
原创
2024-04-17 09:57:08
68阅读
List sortListB = Arrays.asList("春", "夏", "秋", "冬");
原创
2024-04-17 09:57:17
82阅读
???欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知
原创
2024-04-17 09:57:24
48阅读
Spark-on-YARN1. 官方文档http://spark.apache.org/docs/latest/running-on-yarn.html2. 配置安装1.安装hadoop：需要安装HDFS模块和YARN模块，HDFS必须安装，spark运行时要把jar包存放到HDFS上。2.安装Spark：解压Spark安装程
转载
2024-08-14 18:10:09
33阅读
前言 对数据进行排序是平常经常会用到的操作之一，使用Jav8排序可以减少你在排序这方面的代码量，优化你的代码。测试用例代码定义个实体类User，拥有姓名name,年龄age,积分credits三个属性,定义一个包含User的集合，用于排序，下面是代码/* 这里偷个懒，用lombok注解生成实体类getset等一些基本方法 */@Data@AllArgsConstructo...
原创
2021-08-10 10:44:01
1473阅读
???欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有
原创
2024-04-17 09:38:21
66阅读
