文章目录行动操作Action算子概念Action函数 行动操作在spark当中RDD的操作可以分为两种，一种是转化操作(transformation），另一种是行动操作(action)。在转化操作当中，spark不会为我们计算结果，而是会生成一个新的RDD节点，记录下这个操作。只有在行动操作执行的时候，spark才会从头开始计算整个计算。而转化操作又可以进一步分为针对元素的转化操作以及针对集合的
转载
2023-06-19 07:00:10
144阅读
算法分类：转换(transformation)和执行(action)查看算子使用democoalesce & repartition & partitionByreparation是coalesce的特殊情况 ,reparation会将coalesce中的shuffle参数设置为true,会使用HashPartitioner重新混洗分区,如果原有分区数据不均匀可以用reparat
转载
2024-01-31 03:12:26
56阅读
在工作中，需要将用户离线的推荐商品打分批量存储到redis上，其数据量达到50亿(粒度为用户-商品)，数据存储于hive或者来源于spark的DataFrame。本文将介绍如何用pyspark将数据存到redis，并优化缩短其运行时间。1、开始的地方在推荐场景中，通常需要取的是用户最喜欢的TOP-N个商品，首先想到的redis数据结构就是有序集合，通常使用zadd函数来添加元素。表tmp_user
转载
2023-10-07 18:36:53
121阅读
Spark--概述0、总结：1. 激动人心的Spark发展史2. Spark为什么会流行2.1. 原因1：`优秀的数据模型(RDD)和丰富计算抽象(多种API)`2.2. 原因2：完善的生态圈-fullstack2.3. 扩展阅读：Spark VS Hadoop2.4. 扩展阅读：Spark使用情况3. Spark官方介绍4. Spark特点5. Spark运行模式6. 了解-SparkRPC
转载
2024-02-19 14:23:09
56阅读
1.介绍RPC（Remote Procedure Call，远程过程调用）是一个计算机通信协议，此协议允许进程间远程通信。简单来说，当机器 A 上的进程调用机器 B 上的进程时，A 上的调用进程被挂起，而 B 上的被调用进程开始执行。调用方可以通过参数将信息传送给被调用方，然后可以通过被调用方传回的结果得到返回。RPC 框架屏蔽了底层传输方式（TCP/UDP）、序列化和反序列化（XML/JSON/
转载
2023-12-19 09:00:04
78阅读
# Spark ML Pipeline 网络传输用的协议
在当今数据科学和机器学习的领域，Apache Spark 被广泛使用于大规模数据处理和分析。在构建机器学习模型时，Spark 提供了高效的 MLlib 库，支持构建复杂的数据处理和机器学习管道（Pipeline）。然而，在构建和运行 Spark ML Pipeline 时，我们往往需要考虑数据在网络中传输时的协议，这一部分内容对于构建高效
Redis客户端的通信协议Redis客户端与Redis服务器之间的通信协议是在TCP协议之上构建的，Redis制定了RESP（Redis Serialization Protocol，Redis序列化协议）来实现客户端与服务端的正常交互。这种协议简单高效，又容易被人类识别。一、举个例子例如客户端想要发送一条命令：set name jxl给服务端，那么客户端需要将命令封装成如下格式，每行之间使用\r
转载
2023-07-04 16:32:58
61阅读
IP数据报 IP是TCP/IP协议族中最核心的协议，全部的TCP、UDP、ICMP、IGMP数据都以IP数据报的格式传输。IP仅提供尽力而为的传输服务。假设发生某种错误。IP会丢失该数据。然后发送ICMP消息给信源端。另外。IP数据报能够不按发送顺序接受。 IP数据报的格式例如以下： 前20字节和紧
转载
2017-05-04 18:37:00
606阅读
2评论
1、命令格式：
RIP
Router# config t
Router(config)#router rip
Router(config-router)#network 192.168.10.0 255.255.255.0(注意的的问题是，这里需要掩码吗？答案是不需要，因为RIP本身是有类的，也就是说不用输入255.255.255.0它也知道是这个掩码)所以，正确的是：
Router(c
转载
2011-02-26 16:21:14
618阅读
1 IP安全概述大型网络系统内运行多种网络协议（TCP/IP、IPX/SPX和NETBEUA等），这些网络协议并非为安全通信设计。而其IP协议维系着整个TCP/IP协议的体系结构，除了数据链路层外，TCP/IP的所有协议的数据都是以IP数据报的形式传输的。TCP/IP协议族有两种IP版本：版本4（IPv4）和版本6（IPv6），IPv6是IPv4的后续版本，IPv6简化了IP头，其数据
UDP协议是指用户数据报协议，而TCP协议是指传输控制协议。这两种协议是在计算机网络通信中使用最广泛的两种传输层协议，它们分别适用于不同的场景，具有各自的优势和特点。在Kubernetes（简称K8S）这个开源的容器管理工具中，我们也需要了解和使用这两种协议来实现不同类型的通信。
首先，让我们来看一下在Kubernetes中如何实现UDP和TCP协议的应用。我们将使用一个简单的示例来说明这个过程
原创
2024-04-23 17:38:54
45阅读
一、 通常我们所说的TCP/IP，其实是TCP/IP协议族，TCP和IP只是其中两种协议而已。 TCP是传输层协议，IP是网络层协议，IP在网络层和TCP在传输层，不同点在于它们分别负责不同的功能： ：网络层IP只是尽可能快速的把分组从源结点送到目的结点，不提供任何可靠性保证。 ：传输层TCP提供了可靠的服务，采用超时重发、发送和接收端
转载
2023-12-01 11:23:41
164阅读
超文本传输协议是网络应用基本，当你传输文档或者发送ajax请求的时候都会用到。但是对于一般的web开发者来说HTTP协议并不熟悉。这篇文章会介绍一些HTTP、REST的基本原理，然后你可以用这些构建一些跨系统跨平台的接口。为什么是RESTREST是独立系统间一种简单的通信方法。它从2005年开始流行，用来构建一一些像Twitter API这样的应用。 因为REST允许以最小的开销为不同的系统提供服
转载
2024-03-28 11:07:52
176阅读
IP协议，ARP协议，RARP协议，ICMP协议以及IGM
转载
2023-06-16 11:16:18
173阅读
HTTP协议 HTTP（HyperText Transport Protocol），中文译名为超文本传输协议，是一个基于TCP协议的网络协议，主要用于进行网页信息的传输。 HTTP协议是在1960年由美国人Ted Nelson提出构思，并在后来实现的一种协议。 HTTP协议由客户端发起，向服务器发送请求的参数，服务器收到请求后进行回应，并进行html等的传输。由于是通过TCP协议，所以可
转载
2024-04-30 22:59:12
44阅读
文章目录本地BLAST1.基本用法2.结果筛选3.改变参数设置字长设置计分矩阵4.PSI-BLAST5.双序列比对，指定起始位点6.建立自己的检索数据库NCBI-BLAST1.数据输入2.选择参数3.结果筛选参考资料 本地BLAST1.基本用法以人血红蛋白alpha亚基（HBA_HUMAN）为检测序列，用BlastP搜索Swiss-Prot数据库。blastp -query HBA_HUMAN.
转载
2024-06-21 09:01:18
138阅读
Spark 开发原则坐享其成要省要拖跳出单机思维 应用开发原则 ：坐享其成 : 利用 Spark SQL 优化能省则省、能拖则拖 : 节省数据量 , 拖后 Shuffle跳出单机思维 : 避免无谓的分布式遍历坐享其成设置好配置项，享受 Spark SQL 的性能优势，如钨丝计划、AQE、SQL functions钨丝计划：Tungsten 自定义了紧凑的二进制格式的数据结构，避免了 Java 对
转载
2024-01-28 01:18:02
100阅读
点赞
Spark扩展持久化RDD Cache缓存RDD CheckPoint 检查点缓存和检查点区别自定义分区存储与读取累加器广播持久化RDD Cache缓存RDD 通过 Cache 或者 Persist 方法将前面的计算结果缓存，默认情况下会把数据以缓存在 JVM 的堆内存中。但是并不是这两个方法被调用时立即缓存，而是触发后面的 action 算子时，该 RDD 将会被缓存在计算节点的内存中，并供后面重用。// cache 操作会增加血缘关系，不改变原有的血缘关系println(wordToOneR.
原创
2022-03-23 10:21:17
998阅读
当本次TCP接收到不正确的TCP报文（即端口号与IP地址为本机，但对方的IP地址本机不认识，或是对应端口上没有TCP连接）时，会发送reset报文通知对方放弃连接。TCP连接是通过socket对来标识连接的（即本机与对方的IP地址加端口号）。发送RST包关闭连接时，不必等缓冲区的包都发出去，直接就丢弃缓冲区中的包，发送RST在如下情况会发送reset报文：1、发送连接请求到没有进程监听（处于LIS
转载
2024-04-25 18:36:18
71阅读
1.3 利用DCF进行竞争式访问大部分的传输均采用 DCF（分布式协调功能），DCF提供了类似以太网的标准竞争式服务。DCF允许多部独立的工作站彼此互动，无须通过中央管控，因此可以运用于 IBSS 网络或基础型网络。试图传送任何数据之前，工作站必须检查介质是否处于闲置状态。若处于忙碌状态，工作站必须延迟访问，并利用指数型退避（orderly exponentia
转载
2024-02-11 15:07:13
354阅读
