1、Spark是一个计算框架MR是批量计算框架，Spark-Core是批量计算框架
Spark相比MR速度快，MR作为一个job，在中间环节中结果是落地的（会经过磁盘交换），Spark计算过程中数据流转都是在内存的（减少了对HDFS的依赖）MR：多进程模型（缺点：每个任务启动时间长，所以不适合于低延迟的任务
优点：资源隔离，稳定性高，开发过程中不涉及内存锁（互斥锁、读写锁）的开发）Spark：多线
转载
2023-06-19 13:43:44
213阅读
Scala的Actor类似于Java中的多线程编程。但是不同的是，Scala的Actor提供的模型与多线程有所不同。Scala的Actor尽可能地避免锁和共享状态，从而避免多线程并发时出现资源争用的情况，进而提升多线程编程的性能。此外，Scala Actor的这种模型还可以避免死锁等一系列传统多线程编程的问题。Spark中使用的分布式多线程框架，是Akka。Akka也实现了类似Scala Acto
转载
2024-05-16 20:32:59
34阅读
今天下午，烟哥吃饱了撑着没事干，上班时间到处工(zhuang)作(bi)！只见同事小刘的桌上摆了一本Redis相关的书籍，内心嘿嘿一笑：“终于，又有机会勾搭小刘了！”于是有了如下对话"嗯，不要方，跟着我思路来想！"烟哥道。"假设，此刻有任务A和任务B，现在有如下两种执行方式"方式一:两个线程，一个线程执行A，另一个线程执行B方式二:一个线程，先执行A，执行完以后继续执行B"请问，哪种方式执行更快？
进程和线程关系？进程：进程是操作系统的核心，是执行任务的单元。进程都是有对应的实体，每一个进程被创建，系统会为他分配存储空间等必要资源，然后在内核管理区为该进程创建管理节点，方便控制和控制进程的执行。线程：线程的操作系统的运算调度的最小单元，是包含在进程之中。相同点：1、目的：进程和线程都是用实现多任务并发的技术收端，都可以独立调度差异性：进程是资源分配的基本单元，线程是调度的基本单元。进程的个体
转载
2023-07-11 18:40:24
123阅读
在多线程执行的情况下调用fork()函数，仅会将发起调用的线程复制到子进程中。也就是说不能同时创建出于父进程一样多线程的子进程。其他线程均在子进程中立即停止并消失，并且不会为这些线程调用清理函数以及针对线程局部存储变量的析构函数。这将导致下列一些问题:虽然只将发起fork()调用的线程复制到子进程中，但全局变量的状态以及所有的pthreads对象（如互斥量、条件变量等）都会在子进程中得以保留， 这
转载
2023-07-11 18:44:03
66阅读
1、什么是ForkJoin？从JDK1.7开始，Java提供Fork/Join框架用于并行执行任务，它的思想就是讲一个大任务分割成若干小任 务，最终汇总每个小任务的结果得到这个大任务的结果。简单来说：就是借助于ForkJoin线程池，我们可以将一个大的任务分割成多个小的任务并行执行并汇总执行结果。在这里看很像我们之前学过的归并排序的逻辑一样。2、ForkJoin如何解决问题？**ForkJoin主
转载
2023-08-30 17:40:19
82阅读
线程线程是操作系统中能够进行运算调度的最小单位，它被包含在进程之中，是进程中的实际运作单位一个线程指的是一个进程中单一顺序的控制流一个进程可以开启多条线程，多个线程可以并发执行多个任务注意1.进程不是一个执行单位，进程是一个资源单位2.每个进程自带一个线程，线程才是CPU上的执行单位3.python无法利用多核优势，意味着一个进程下的多个线程无法实现并行进程 vs 线程1.进程之间的内存空间彼此隔
转载
2023-08-04 21:04:00
34阅读
转自：Mapreduce多进程与spark多线程 Apache Spark的高性能一定程度上取决于它采用的异步并发模型（这里指server/driver 端采用的模型），这与Hadoop 2.0（包括YARN和MapReduce）是一致的。Hadoop 2.0自己实现了类似Actor的异步并发模型，
转载
2021-07-29 13:39:59
294阅读
`Redis的持久化机制Redis提供了俩种持久化机制 RDB 和 AOF一,RDB 在指定的时间间隔内将内存中的数据集快照写入磁盘，也就是行话讲的Snapshot快照，它恢复时是将快照文件直接读到内存里 ------>以快照的方式存储;Rdb 保存的是dump.rdb文件 Redis会单独创建（fork）一个子进程来进行持久化，会先将数据写入到一个临时文件中，待持久化过程都结束了，再用个临
转载
2023-12-12 16:14:51
36阅读
一.整体架构Spark的存储介质包括磁盘和内存。Spark的存储采用了主从模型，存储模块使用了基于Netty的RPC消息通信方式。BlockManagerMaster负责整个应用程序运行期间的数据块的元数据管理和维护。BlockManager（Slave）负责将本地数据块的状态信息上报给BlockManagerMaster，同时接受从BlockManagerMaster传过来的执行命令，如获取数据
java forkjoin框架
1.概述fork / join框架在Java 7中提供。它提供了一些工具，通过尝试使用所有可用的处理器内核来帮助加速并行处理 - 这是通过分而治之的方法实现的。实际上，这意味着框架首先“forks”，递归地将任务分解为较小的独立子任务，直到它们足够简单以便异步执行。之后，“join”部分开始，其中所有子任务的结果以递归方式
转载
2024-01-06 07:25:06
27阅读
DRB是ruby的远程进程调用（remote process calling）机制，类似于java的RMI。近期在一个项目中采用了DRB实现server与client之间的通信，其中对于server有以下要求：a) 并发处理多个client的请求，对于每个client用一个线程来处理； b) client发出请求后可以立即返回，不需要阻塞在那里等待server处理。 我对server的设计如下：给
推荐
原创
2012-01-15 22:13:50
2435阅读
点赞
2评论
它能把所有 List 接口的实现类转换成线程安全的List，比 Vector 有更好的扩展性和兼容性，SynchronizedList的构造方法如下：final List<E> list;
SynchronizedList(List<E> list) {
super(list);
this.list = list;
}SynchronizedList的
转载
2024-08-12 09:43:13
20阅读
fork会复制线程吗结论：主进程 fork 之后，仅会复制发起调用的线程，不会复制其他线程，如果某个线程占用了某个锁，但是到了子进程，该线程是蒸发掉的，子进程会拷贝这把锁，但是不知道谁能释放，最终死锁。写一个 demo 验证一下，是否 fork 不会复制子线程，并且有可能造成死锁：fork demo 验证// file: fork_copy_thread.cc
// g++ fork_copy_t
转载
2023-11-24 17:11:35
139阅读
什么是 LFU 缓存机制？LFU 算法，即 least frequently used 最近最不常使用，和 LRU 相似，也是一种用于缓存的数据淘汰策略。当内存不足以容纳新的数据时，需要淘汰最近最不频繁使用的数据。LFU 相比较 LRU 更复杂一点，不仅需要考虑不同频率，而且对于相同频率的数据之间也需要维护先后顺序。（按访问频率淘汰频率最低的数据，相同频率的数据淘汰最近未使用的）比如 Redis
转载
2024-10-28 13:27:19
15阅读
class ListenPing(Thread):
def __init__(self):
super().__init__()
# self.daemon = True
self.ping_status = None
def run(self):
"""
PING包监听主运行程序
:
原创
2024-05-08 00:01:15
75阅读
## Redis多线程同时读取数据的方式
### 什么是Redis
Redis（Remote Dictionary Server）是一个开源的内存数据存储系统，它可以用作数据库、缓存和消息中间件。Redis以键值对的形式存储数据，支持多种数据类型，并且具有高可用、高性能和可扩展性的特点。
### Redis多线程读取数据的优势
在Redis中，读取数据是一个非常频繁的操作，而写入数据的频率
原创
2024-01-28 10:56:30
127阅读
<一>： fork()函数用来创建新的进程，它的特点是调用一次返回两次( 在原来的进程中返回新进程的 PID（新进程的 PID 肯定不等于 0）， 在新进程中返回为 0.)函数原型：pid_t fork(void)；pid_t getpid(); 获取当前进程的 pid 值。 pid_t getppid(); 获取当前进程的父进程 pid 值。 &n
转载
2023-07-11 18:31:57
48阅读
--------------------------------------------------其他问题---------------------------------------------------------------------1、fork耗时导致高并发请求延时RDB和AOF的时候，其实会有生成RDB快照，AOF rewrite，耗费磁盘IO的过程，主进程fork子进程fork的
转载
2023-12-14 15:24:07
74阅读
Redis 持久化 RDB AOF
RDBRedis DataBaseRedis 会单独创建fork一个子进程来进行持久化Fork：复制一个与当前进程一样的进程(类似python的os.fork)，新进程的所有数据（变量，环境变量，程序计数器等）和原进程一致，但是是一个全新的进程，并作为原进程的子进程会将数据写入到一个临时文件中，待持久化过程结束，再使用
转载
2024-07-24 12:06:14
21阅读
