系统背景spark streaming + Kafka高级API receiver目前资源分配（现在系统比较稳定的资源分配），独立集群 --driver-memory 50G
--executor-memory 8G
--num-executors 11
--executor-
顾名思义，broadcast 就是将数据从一个节点发送到其他各个节点上去。这样的场景很多，比如 driver 上有一张表，其他节点上运行的 task 需要 lookup 这张表，那么 driver 可以先把这张表 copy 到这些节点，这样 task 就可以在本地查表了。如何实现一个可靠高效的 broadcast 机制是一个有挑战性的问题。先看看 Spark 官网上的一段话：Broad
转载
2023-06-09 22:25:14
252阅读
# Spark什么时候用广播变量
在使用Spark进行大规模数据处理时，我们经常会遇到需要在分布式计算中传递共享数据的情况。为了提高效率和减少网络传输开销，Spark引入了广播变量的概念。本文将详细介绍什么时候使用广播变量，并通过代码示例来说明其用法。
## 什么是广播变量？
广播变量是Spark中用于在分布式计算中传递共享数据的一种机制。它允许我们在每个节点上缓存一个只读的变量，并在任务执
原创
2023-08-19 07:20:54
92阅读
1 Spark Shuffle 是什么？Shuffle 中文意思是“洗牌，混洗”，而在 Hadoop 的 MapReduce 框架中，Shuffle 是 Map 和 Reduce 中间必不可少的连接桥梁。数据在从Map 阶段结束经过 Shuffle 到 Reduce 阶段的过程中，涉及到磁盘的读写、网络传输和数据序列化，Shuffle 操作还会在磁盘上生成大量中间 文件，这些都是直接影响程序的性能
# Java中工厂、池和异步的使用场景
在Java编程中，我们经常会遇到需要使用工厂、池和异步等概念来提高程序的性能和可维护性。但是，很多开发者对于这些概念的具体应用场景和使用方法并不清楚。在本文中，我们将详细介绍Java中工厂、池和异步的使用场景，并提供相应的代码示例。
## 工厂（Factory）
工厂模式是一种创建型设计模式，它提供了一种创建对象的最佳方式。当我们需要根据一些条件来创建
什么时候使用引用？和什么时候使用指针 1.问题提出：当一个类的对象作为实参数传递时，使用值传递和引用传递有什么区别？比如: DateType ExampleFun(CString &strFileName,...)与DateType ExampleFun(CString strFileName,.....
转载
2015-12-14 21:41:00
214阅读
2评论
Equals 方法只是在 System.Object 中定义的一个虚拟方法，它由任何选择执行该任务的类所重写。== 运算符是一个可由类重载的运算符，该类通常具有恒等行为。 对于未重载 == 的引用类型，该运算符会比较两个引用类型是否引用同一对象，而这恰好是 System.Object 中的 Equals 实现所做的工作。 对于未重载 == 的值类型，该运算符会比较这两个值是否"按位"相等，即是否...
转载
2007-07-19 20:18:00
184阅读
2评论
何时使用引用参数的主要原因有两个：
程序员能够修改调用函数中的数据对象。通过传递引用而不是整个数据对象，可以提高程序的运行速度。
什么时候使用指针？什么时候使用引用？什么时候应该按值传递？下面是一些指导原则：
对于那些函数，它们只使用传递过来的值，而不对值进行修改。
如果数据对象很小，如内置数据类型或小型结构，使用按值传递。如果数据对象是数组，则使用指向const的指针。如果数据对象是较大的结
转载
2021-09-13 09:49:00
1710阅读
2评论
按照五点把书中的内容进行一下整理：1、为什么要选择Redis：介绍Redis的使用场景与使用Redis的原因；2、Redis常用命令总结：包括时间复杂度总结与具体数据类型在Redis内部使用的数据结构；3、Redis的高级功能：包括持久化、复制、哨兵、集群介绍；4、理解Redis：理解内存、阻塞，这部分是非常重要的，前面介绍的都可以成为术，这里应该属于道的部分；5、开发技巧：主要是一些开发实战的总
转载
2023-08-08 21:24:01
225阅读
一个常见的错误是以为 session 在有客户端访问时就被创建，然而事实是直到某 server 端程序(如 Servlet )调用HttpServletRequest.getSession(true)这样的语句时才会被创建。*************************************************************************************我一开
当两种不同的路由协议要交换路由信息时，就要用到多路由协议。当然，路由再分配也可以交换路由信息。下列情况不必使用多路由协议:
从老版本的内部网关协议( Interior Gateway Protocol，I G P)升级到新版本的I G P。
你想使用另一种路由协议但又必须保留原来的协议。
你想终止内部路由，以免受到其他没有严格过滤监管功能的路由器的干扰。
你在一个由多
原创
2010-05-05 12:12:44
381阅读
1 在方法中使用指针什么是receiver？func (t T) method_name(t T){}这里面的T就是receiver使用receiver作为方法参数func main() { r := receiver{Name: "zs"} fmt.Println(r) r.methodA()
原创
2022-05-24 19:25:30
98阅读
以下是论文中截取的部分内容raft算法提供一个完整的实际的系统实现基础，这样才能大大减少开发者的工作；它必须在任何情况下都是安全的并且在大多数的情况下都是可用的；并且它的大部分操作必须是高效的。但是我们最重要也是最大的挑战是可理解性。它必须保证对于普遍的人群都可以十分容易的去理解。另外，它必须能够让人形成直观的认识，这样系统的构建者才能够在现实中进行必然的扩展。 1、问题分解：主要分为：领导人选
缓存缓存现在是几乎每个中大型网站的比啥技。合理的利用缓存不仅能提升网站的访问速度，还能大大降低数据库压力。 redis的key-value键值过期机制， 提供了灵活的键淘汰策略 ，所以redis应用场景特别的多。排行榜很多网站都有排行榜，如京东的月度销量，商品的最新排行。 redis提供的有序集合数据类型能实现各种复杂排行榜的应用。计数器什么是计数器？ 电商网站的浏览量、视频的播放量 。为了保证实
转载
2023-08-30 08:26:21
87阅读
创建RDD1.由外部存储系统的数据集创建，包括本地的文件系统，还有所有Hadoop支持的数据集，比如HDFS、Cassandra、HBase等val rdd1 = sc.textFile("hdfs://node-01:9000/wordcount/input/words.txt")2.通过已有的RDD经过算子转换生成新的RDDval rdd2=rdd1.flatMap(_.split(" "))
当你需要在类的实例化、属性访问或方法调用等特定时机执行特定的操作时，可以使用魔术方法。例如，假设你正在编写一个表示矩形的类，并希望在创建矩形对象时自动计算其面积。你可以使用__init__魔术方法来初始化矩形的属性，并在其中计算面积。class Rectangle:
def __init__(self, width, height):
self.width = width
原创
2023-07-29 09:44:14
124阅读
1评论
1.JAVA中的关键字:Java 关键字是区分大小写的哦！所以 void 是关键字，但 Void 就不是了~~2.JAVA标识符:标识符就是用于给 Java 程序中变量、类、方法等命名的符号。使用标识符时，需要遵守几条规则： 1. 标识符可以由字母、数字、下划线（_）、美元符（$）组成，但不能包含 @、%、空格等其它特殊字符，不能以数字开头。譬如：123name 就
首先，让我们来讨论下为什么要用集合类？数组是很常用的一种的数据结构，我们用它可以满足很多的功能，但是，有时我们会遇到如下这样的问题：1、我们需要该容器的长度是不确定的。2、我们需要它能自动排序。3、我们需要存储以键值对方式存在的数据。如果遇到上述的情况，数组是很难满足需求的，接下来本章将介绍另一种与数组类似的数据结构—集合类，集合类在Java中有很重要的意义，保存临时数据，管理对象，泛型，Web框
int是32位整数;一个long是一个64位整数。使用哪一个取决于您希望使用的数字的大小。 int和long是原始类型，而Integer和Long是对象。原始类型更高效，但有时您需要使用对象;例如，Java的集合类只能与对象一起工作，所以如果需要整数列表，则必须使其成为List<Integer>（例 ...
转载
2021-07-16 15:27:00
1479阅读
2评论
文章目录队列结构图队列种类划分阻塞 / 非阻塞 :`阻塞队列``非阻塞队列`总结:有界/无界`有界``无界`单向 / 双向链表`单向链表``双向链表`Queue(队列)接口方法:增删查(抛异常)增删查(返回特殊值)Deque(双端队列)接口方法增删查(抛异常)`First`Element (Head)`Last`Element (Tail)增删查(返回特殊值)`First`Element (He
