关于Map集合中常用的方法：
转载
2023-07-20 20:13:49
27阅读
接上文http://boylook.blog.51cto.com/7934327/1298637说下遇到的另外一个CASE：在排查一个线上问题的过程中发现callqueue这几天出现了spike：继续查看发现最近的waiting_maps数和spike非常match进而通过grace定位到了一个具体业务的Hive清洗Job：发现这个Hive表A有大量的小文件（最大的才16MB），这个表A是通过对一
原创
2013-09-18 12:26:33
886阅读
要点一：为什么length是2的幂次方？？ 1、hashMap的存储原理是将key的hash值跟 length-1 进行 & 运算（十进制是%求模运算），从而求得key在hashmap 数组中的位置。 2的幂次方可以减少冲突（碰撞），提高hashMap的查询效率。 注：碰撞即不同的KEY值求出来的存储位置相同，这种情况叫hash碰撞（冲突），解决碰撞的方法是
转载
2024-05-30 09:19:22
88阅读
Spark提供了两种创建RDD的方式：读取外部数据集，以及在驱动器程序中对一个集合进行并行化。在驱动器程序中对一个集合进行并行化的方式有两种：parallelize()和makeRDD()。创建并行集合的一个重要参数，是slices的数目（例子中是numMappers），它指定了将数据集切分为几份一般来说，Spark会尝试根据集群的状况，来自动设定slices的数目。当让，也可以手动的设置它，通过
转载
2024-02-21 19:43:37
120阅读
Spark SQL架构Spark技术栈（Spark生态站）：Spark SQL主要是对信息的处理，包括数据转化，数据抽取Spark周边有Python/Scala/java/MLLib/等等Spark可以集成Hive，Json，CSV，parqueet，JDBC，HBase，Other等等Catalyst优化器是Spark SQL的核心。Dataset与Frame的区别：？？？使用Case Clas
转载
2024-08-06 11:10:06
25阅读
Java-Annotation的一种用法（消除代码中冗余的if/else或switch语句）1.冗余的if/else或switch 有没有朋友写过以下的代码结构，大量的if/esle判断，来选择不同的执行方式if(type==1001){
return decodeMsg1001(msg);
}else if(type==1002){
return decodeMsg1002(msg);
}
转载
2024-05-28 20:03:12
75阅读
下面是参考网络资源总结的一些在Java编程中尽可能要做到的一些地方。
1. 尽量在合适的场合使用单例
使用单例可以减轻加载的负担，缩短加载的时间，提高加载的效率，但并不是所有地方都适用于单例，简单来说，单例主要适用于以下三个方面：
第一，控制资源的使用，通过线程同步来控制资源的并发访问；
第二，控制实例的产生，以达到节约资源的目的；
转载
2024-05-23 08:02:14
43阅读
如何合并小文件，减少map数？假设一个SQL任务：Select count(1) from popt_tbaccountcopy_mes where pt = ‘2012-07-04’;该任务的inputdir/group/p_sdo_data/p_sdo_data_etl/pt/popt_tbaccountcopy_mes/pt=2012-07-04共有194个文件，其中很多是远远小于128m的
原创
2015-05-05 15:27:16
2003阅读
# Java 减少 if 的实现方法
作为一名经验丰富的开发者，我将教导你如何在 Java 中减少 if 语句的使用。下面将以流程图和代码示例的方式详细介绍每一步需要做的事情。
## 流程图
```mermaid
stateDiagram
[*] --> 判断条件
判断条件 --> |条件1| 执行代码1
判断条件 --> |条件2| 执行代码2
判断条件 -
原创
2023-11-26 06:34:30
95阅读
文章目录1、mybatis缓存1.1、一级缓存1.1.1、从日志中看出缓存在作用1.1.2、增删改 会更新缓存1.1.3、手动清理缓存1.2、二级缓存1.2.1、开启二级缓存，cache标签1.2.2、开启全局缓存（可以不写）1.2.3、缓存原理1.3、自定义缓存1.3.1、使用ehche缓存1.3.2、自己写一个缓存1.3.3、使用redis做缓存2、JVM2.1、JVM基础认识2.2、内加载
转载
2023-09-30 19:34:29
103阅读
1.instanceof运算符该运算符用于操作对象实例，检查该对象是否是一个特定类型（类类型或者接口类型）。String name = "James";
boolean result = name instanceof String; // 由于 name 是 String 类型，所以返回真2.java增强for循环主要用于数组的增强型for循环。for(声明语句 : 表达式)
{
//代码句子
转载
2024-06-03 16:28:15
130阅读
网络通信优化之序列化：避免使用Java序列化Hi，我是阿昌，今天学习记录的是关于网络通信优化之序列化：避免使用Java序列化。当前大部分后端服务都是基于微服务架构实现的。服务按照业务划分被拆分，实现了服务的解耦，但同时也带来了新的问题，不同业务之间通信需要通过接口实现调用。两个服务之间要共享一个数据对象，就需要从对象转换成二进制流，通过网络传输，传送到对方服务，再转换回对象，供服务方法调用。这个编
转载
2024-02-27 08:00:20
466阅读
推荐使用String直接量赋值Java系统中为了避免在一个系统中大量产生String对象，设计了字符串池（也叫字符串常量池）。它的创建机制为：创建一个字符串时，首先检查池中是否有字面值相等的字符串，如果有则不再创建直接返回池中对象的引用，如果没有则创建，放在池中并返回新建对象的引用。String str1 = "中国";//String Pool
String str2 = "中国";//Stri
转载
2023-08-21 12:42:13
47阅读
下面是参考网络资源总结的一些在Java编程中尽可能要做到的一些地方。
1. 尽量在合适的场合使用单例
使用单例可以减轻加载的负担，缩短加载的时间，提高加载的效率，但并不是所有地方都适用于单例，简单来说，单例主要适用于以下三个方面：
第一，控制资源的使用，通过线程同步来控制资源的并发访问；
第二，
在spark中，map算子可以说是我们使用最频繁的一个基础算子，功能也非常简单，将一条数据经过变换形成另外一条数据。那么还有一个算子和它非常相似：mapPartition。 很显然，这个算子多了一个Partition，所以表示的含义就是：对于每一个分区的数据，整体进行数据的变换。 有人可能会问，难道map就不是对分区进行的？也是。不过map没有分区的概念，就是一条数据一条处理，也是分布式的处理，只
转载
2023-08-16 13:09:54
42阅读
# Java中如何减少if-else语句的使用
在Java编程中，if-else语句是判断条件、执行特定代码块的常见方法。但是，过多的if-else语句不仅会导致代码复杂度增加，还可能导致可读性差和维护困难。本文将探讨减少if-else的几种常见策略，并通过代码示例和图表解释这些策略如何发挥作用。
## 一、使用多态
多态是面向对象编程的重要特性。通过封装不同的行为，可以减少if-else语
# Java内存减少
在Java编程中，内存管理是一个重要的话题。合理使用和减少内存的占用可以提高程序的性能和效率。本文将介绍一些常见的内存减少技术和方法，并提供相关的代码示例。
## 1. 内存管理概述
Java是一种高级的面向对象编程语言，具有自动内存管理的特性。这意味着开发人员不需要手动分配和释放内存，而是依靠Java虚拟机（JVM）在运行时自动分配和回收内存。
JVM使用垃圾回收器
原创
2023-08-04 06:55:10
78阅读
在 Java 开发中，使用 `switch` 语句进行条件判断是相对常见的模式。然而，随着代码复杂度的提升，过多的 `switch` 语句可能会导致代码可读性较差、维护困难。因此，"java减少switch" 的需求日益凸显。本文将围绕如何有效减少 `switch` 语句的问题进行逐步分析和实践。
## 背景定位
在 Java 的实际开发场景中，开发者往往需要根据不同的条件执行不同的逻辑，这通
利用反射来去除if判断语句 我的以前写的一个查分系统，就是部长让我写的那个，使用一个分发器（函数），他会根据传递进来的字符串参数调用不同的方。 If（“add”.equalsIgnoreCase(funcName)） { return add();} ，每增加一个方法，就需要增加一个if分支，这样需要不断的修改原来的代码，需要重新编译，容
转载
2023-07-18 14:03:16
480阅读
java中我们使用虚拟机，有了java虚拟机，我们程序员是不用去管理内存的，但是java虚拟机管理内存没有想象的那么好，所以我们在代码里面还是要注意，写出优质的代码， 必定会有不少人站出来为Java辩白，并举出一堆的性能测试述说来证明这一点。其实从实际上来讲Java做的系统并不比其他谈话斥地进去的系统更占用内存，那么为什么
转载
2024-06-21 05:56:10
201阅读
