简介 Spark和MapReduce的功能差不多，主要做分布式计算的，而分布式存储还是由HDFS来做，其中Spark进行数据转换时最核心的概念就是RDD，既然是做分布式计算的，那就要搞懂Spark是怎么进行分布式计算的以及工作流程Spark各个模块解决的问题以及特点Spark RDD中API的使用场景 上面说了，spark进行分布式计算是基于HDFS的，所以不光要启动spark集群，还是要启动
文章目录1. RPC框架概述1.1 RPC工作原理1.2 RPC简单实现 HDFS作为分布式存储系统，各个节点之间的通信必不可少， HadoppRPC是HDFS节点间的通信的基础框架。本文首先将介绍 RPC基本概念及简单的原生实现，随后将基于Hadoop源码分析HadoopRPC的实现细节。 1. RPC框架概述1.1 RPC工作原理RPC（Remote Procedure Call）即远程过程
转载
2023-07-21 14:31:10
93阅读
4.6. HDFS 的 RPC 机制RPC 是远程过程调用 (Remote Procedure Call)，即远程调用其他虚拟机中运行的 javaobject。 RPC 是一种客户端/服务器模式， 那么在使用时包括服务端代码和客户端代码， 还有我们调用的远程过程对象。HDFS 的运行就是建立在此基础之上的。本章通过分析实现一个简单的 RPC 程序来分析HDFS 的运行机理。本节难度偏大，读者可以在
转载
2023-11-07 04:12:34
90阅读
hadoop在实现datanode、namenode、client之间的通信时，实现了自己的一套rpc通信的协议，协议服务器端采用nio的方式来处理请求，支持局域网的rpc调用 。 协议的传输数据采用writeable数据，每次调用将具体函数参数（writeable），调用方法
HDFS客户端操作一.IDEA环境准备1.修改$MAVEN_HOME/conf/settings.xml<!--本地仓库所在位置-->
<localRepository>F:\m2\repository</localRepository>
<!--使用阿里云镜像去下载Jar包，速度更快-->
<mirrors>
<mi
转载
2024-05-15 04:38:55
48阅读
一次Namenode的RPC延迟故障排查引发的深入思考前言正文问题排查初步定位临时恢复定位可疑进程问题分析问题脚本分析问题原因分析代码分析测试代码prometheus_client分析测试代码前言12月1日，多个省份的HDFS集群出现NameNodeRPC延迟高的问题，当时通宵了一个晚上，模糊的确认是存在频繁的du或者count操作导致的，后来也确认这个操作的发起方是开发人员用python写的采集
转载
2024-03-04 15:46:57
335阅读
1. RPC的基础概念 RPC，即Remote Procdure Call，中文名：远程过程调用；更详细内容可以转到RPC原理及RPC实例分析学习。 （1）它允许一台计算机程序远程调用另外一台计算机的子程序，而不用去关心底层的网络通信细节，对我们来说是透明的。因此，它经常用于分布式网络通信中。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络
转载
2024-04-19 11:53:16
70阅读
1. 代理对象的生成 DFS中构造方法开始： // 创建代理对象
// NameNodeProxies ：所有远程访问NameNode都必须通过它创建代理对象
proxyInfo = NameNodeProxies.createProxy(conf, nameNodeUri,
ClientPro
先记录server端的机制最初接触RPC，用自己的思路来猜测RPC的实现机制：Server端开启socket监听,listen()à accept()àread()àwrite()àclose()有请求来时开启thread处理请求，原进程继续监听，请求完毕后将结果返回给client端 这样设计的缺点：当访问量大时，并发开启大量线程，会造成server端资源瓶颈。每个线程中，read()阻塞，直到
转载
2024-04-18 20:00:34
644阅读
目录1. addResource()方法2. conf.set("aaa", "bbb")3. hadoop fs -DConfiguration类是hadoop的配置类，而客户端获取配置最常用的方式，就是Java Configuration类的addResource()方法和set()方法。此外，还可以通过shell加 -D 的方式，获取指定配置项。本文将通过以下代码，深入源码，探究Client
转载
2024-03-25 13:41:03
28阅读
(给ImportNew加星标，提高Java技能)转自：cnblogs，作者：星朝项目调优作为一名工程师，项目调优这事，是必须得熟练掌握的事情。在 Spring Boot 项目中，调优主要通过配置文件和配置JVM的参数的方式进行。1. 修改配置文件关于修改配置文件 application.properties，推荐《Spring Boot 项目详细的配置文件修改文档》其中比较重要的有：server.
作者：星朝项目调优作为一名工程师，项目调优这事，是必须得熟练掌握的事情。在 Spring Boot 项目中，调优主要通过配置文件和配置JVM的参数的方式进行。在这边有一篇比较好的文章，推荐给大家！《Spring Boot项目配置Tomcat和JVM参数》
https://zhuanlan.zhihu.com/p/31803182
1. 修改配置文件关于修改配置文件 applic
转载
2024-10-11 22:48:50
50阅读
HDFS中数据流的读写HDFS的HA机制HDFS的Federation机制HDFS中数据流的读写什么是RPC？RPC（Remote Procedure Call）——远程过程调用，是一种协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了传输层和应用层。
转载
2023-07-24 09:08:55
139阅读
目录1、前言1.mysqld启动2、load_file开启3、mysql的load_file盲注1.思路2.实现exp1、前言今天看了一道安恒杯的ctf题，里面load_file盲注的思路看起来有点意思，该思路没有用单引号，使用到sql查询文件内容。1.mysqld启动1.在利用mysql进行sql注入的测试中，遇到一些mysql启动上的问题，可以在mysql的启动或控制台日志查看
输入命令mys
02_note_分布式文件系统HDFS原理与操作，HDFS API编程；2.x下HDFS新特性，高可用，联邦，快照HDFS基本特性/home/henry/app/hadoop-2.8.1/tmp/dfs/name/current - on namenode
转载
2024-10-16 10:26:24
54阅读
HDFS2.x之RPC流程分析1 概述 Hadoop提供了一个统一的RPC机制来处理client-namenode, namenode-dataname,client-dataname之间的通信。RPC是整个Hadoop中通信框架的核心，目前采用ProtocolBuf作为RPC的默认实现。RPC的整体调用流程如下： 2 Protobuf &n
转载
2023-12-06 16:50:26
41阅读
目录1.Windows下安装hadoop和jdk1.1 Windows下安装jdk1.2 Windows下安装hadoop2. Maven2.1 Maven简介2.2 Maven安装与配置2.3 通过pom文件下载hadoop的客户端依赖3.API之文件操作 3.1 API之文件系统对象3.3 API之文件下载 3.4 API
转载
2024-04-06 09:30:11
34阅读
RPC 是远程过程调用(Remote Procedure Call)，即远程调用其他虚拟机中运行的 java object。RPC 是一种客户端/服务器模式，那么在使用时包括服务端代码和客户端代码，还有我们调用的远程过程对象。HDFS 的运行就是建立在此基础之上的。本文通过分析实现一个简单的 RPC 程序来分析HDFS 的运行机理。下面的代码是服务端代码：/** * RPC服务端代码
原创
2016-05-26 17:09:40
125阅读
### Sentry Redis 突增实现流程
本文将介绍如何实现 Sentry Redis 突增的功能。首先我们需要了解 Sentry 是什么以及它与 Redis 的关系。Sentry 是一个开源的实时事件记录平台，它可以捕捉应用程序中的错误和异常，并将其存储在后台的数据库中。而 Redis 是一个高性能的键值存储系统，它可以用作 Sentry 的后端数据库。
#### 流程图
下面是 S
原创
2024-01-16 11:35:06
252阅读
cpu 突增问题排查cpu 突增 java top jstack问题背景临清明节前，收到监控报警，信息如下:[告警名称：cpu.idle]
[告警指标：cpu.idle]
最近5个点值:[0,2.348,0,0,0]
触发规则:
[过去5个点内，所有点的值 < 10 ]
数据时间：2021-04-01 11:40:00备注： cpu使用率高
告警时间：2021-04-01 11:40:19
转载
2021-04-07 11:35:14
704阅读
2评论
