1 spark内核架构过程如下：首先： ①、用户通过spark-submit提交自己编写的程序（jar、py）。 ②、一般认为上述的提交方式为Standlone，其会通过反射的方式，创建和构造一个DriverActor进程出来。 ③、Driver执行我们的Application应用程序（我们编写的代码），此时代码里是先构建sparkConf，再构建S
转载
2023-08-08 14:31:24
61阅读
Linux内核作为一个开源的操作系统内核，被广泛应用于服务器、嵌入式系统、移动设备等领域。其中，红帽（Red Hat）作为Linux发行版中最受欢迎的一种，备受业界关注。
首先，让我们来了解一下Linux内核的原理。Linux内核是一个负责管理计算机硬件资源的软件，它是操作系统的核心部分。Linux内核由众多功能模块组成，每个功能模块负责不同的工作。其中，有三个重要的功能模块：进程管理、内存管理
那样寄存器较少的硬件体系结构只要通过栈指针就能计算出它的位置
原创
精选
2023-04-22 15:19:52
697阅读
Flink API提供了开发的接口，此外，为了实现业务逻辑，还必须为开发者提供自定义业务逻辑的能力。。Flink中设计了用户自定义函数体系(User Defined Function,UDF),开发人员实现业务逻辑就是开发UDF。一、环境对象 Str
转载
2023-07-18 13:20:05
107阅读
Linux系统linux系统主要组成：应用程序、shell、文件系统、内核； 内核操作系统的核心。 内核组成： 内存管理 进程管理 文件系
转载
2023-10-29 14:44:15
58阅读
【Linux内核】内
原创
精选
2023-04-16 09:33:34
656阅读
摘要从抽象角度来看，内核就是计算机资源的管理者，当然管理资源是为了让应用使用资源。既然内核是资源的管理者，我
原创
2023-04-04 17:49:38
162阅读
Hadoop核心架构简述Hadoop核心架构简述HDFSNamenode(1个)Datanode（n个）YarnResourceManager(1个)NodeManager（n个）MapReduceMap阶段Reduce阶段HDFSHDFS负责大数据文件的读写！HDFS的运行需要由若干不同角色的进程一起启动后组成！HDFS由namenode和datanode组成。Namenode(1个)处理客户
转载
2023-09-20 10:59:19
76阅读
本文由 wensong 在2006-03-03 23:25 提交。
我们分别在Linux 内核2.0和内核2.2中修改了TCP/IP协议栈，在IP层截取和改写/转发IP报文，实现了三种IP负载均衡技术，并提供了一个ipvsadm程序进行虚拟服务器的配置和管理。在Linux 内核2.4和2.6中，我们把它实现为NetFilter的一个模块，很多代码作了改写和进一步优化，目前版本已在网上发布，根据反
转载
精选
2012-11-08 14:45:15
1006阅读
文章目录iptables的原理与配置详解简介基本原理概念rules的写法过程:进入本机的包过程:从本机出去的包过程:转发的包维护命令命令参考查看规则命令格式命令参数实际命令例子设置默认策略增删改规则IP的屏蔽等操作端口相关http相关ssh相关conntrack相关nat相关(nat表)PING相关其他 iptables的原理与配置详解简介linux的包过滤功能，即linux防火墙，它由netfi
WHY ? 弥补了传统容器技术安全性的缺点，Kata Containers通过使用硬件虚拟化来达到容器隔离的目的。每一个container/pod 都是基于一个独立的kernel实例来作为一个轻量级的虚拟机。自从每一个container/pod运行与独立的虚拟机上，他们不再从宿主机内核上获取相应所有的权限。 WH
一般来说，在执行shuffle类的算子的时候，比如groupByKey、reduceByKey、join等。其实算子内部都会隐式地创建几个RDD出来。那些隐式创建的RDD，主要是作为这个操作的一些中间数据的表达，以及作为stage划分的边界。因为有些隐式生成的RDD，可能是ShuffledRDD，dependency就是ShuffleDependency，DAGScheduler的源码，就会将...
原创
2021-06-21 16:00:25
1322阅读
转载：http://blog.chinaunix.net/uid-25871104-id-3086446.html一、概念：大 多数内核子系统都是相互独立的，因此某个子系统可能对其它子系统产生的事件感兴趣。为了满足这个需求，也即是让某个子系统在发生某个事件时通知其它的子系 统，Linux内核提供了通...
转载
2014-06-19 18:09:00
76阅读
2评论
Chromium内核原理之网络栈 JeffMony关注 12019.02.13 13:11:19字数 2,846阅读 1,413 《Chromium内核原理之blink内核工作解密》《Chromium内核原理之多进程架构》《Chromium内核原理之进程间通信(IPC)》《Chromium内核原理之
转载
2020-04-06 23:27:00
380阅读
2评论
群内提供免费的C/C++Linux服务器开发/高级架构师学习资料资料包括C/C++，Linux，golang技术，Nginx，ZeroMQ，MySQL，R
原创
2023-05-22 15:34:18
508阅读
信号捕捉特性 练习1：为某个信号设置捕捉函数 【sigaction1.c】练习2： 验证在信号处理函数执行期间，该信号多次递送，那么只在处理函数之行结束后，处理一次。 【sigaction2.c】练习3：验证sa_mask在捕捉函数执行期间的屏蔽作用。 【sigaction3.c】 内核实现信号捕捉
转载
2019-08-11 09:55:00
243阅读
模块的基本描述 Linux kernel由诸多模块组成，这些模块可以直接与硬件交互，我们也叫它为硬件模块。诸多模块以模块化的方式存在于kernel中。在编译kernel时，可以将需要的模块加入到核心中，也可以将各个子模块编译成各自的单独的模块（模块以ko为扩展名），在需要的时候再分别载入。 写一个简 ...
转载
2021-08-24 18:09:00
650阅读
2评论
IPTABLES一，iptables的原理：当主机收到一个数据包后，数据包先在内核空间中处理，若发现目的地址是自身，则传到用户空间中交给对应的应用程序处理，若发现目的不是自身，则会将包丢弃或进行转发。iptables实现防火墙功能的原理是：在数据包经过内核的过程中有五处关键地方，分别是PREROUTING、INPUT、OUTPUT、FORWARD、POSTROUTING，称为钩子函数，iptabl
一般来说，在执行shuffle类的算子的时候，比如groupByKey、reduceByKey、join等。
原创
2022-03-31 09:35:48
419阅读
本文导读
Linux 内核读锁实现原理，描述自旋锁时，已经顺带描述了读写自旋锁，所以本节将不再描述自旋锁的读写锁实现。读者是否能想到，既然自旋锁有相关的读写锁实现，信号量也应该有呢？答案是一定的。所以可以到，读写锁实际上是在原有锁上进行优化读写的操作。下面讨论源码实现。一、Linux 内核读写锁核心结构解读
定义一个结构体 rw_semaphore 代表读写信号量，然后义一宏定义表明读写信号量的偏
原创
精选
2022-09-16 15:32:53
851阅读
