目录1.Windows下安装hadoop和jdk1.1 Windows下安装jdk1.2 Windows下安装hadoop2. Maven2.1 Maven简介2.2 Maven安装与配置2.3 通过pom文件下载hadoop的客户端依赖3.API之文件操作 3.1 API之文件系统对象3.3 API之文件下载 3.4 API
转载
2024-04-06 09:30:11
34阅读
一次Namenode的RPC延迟故障排查引发的深入思考前言正文问题排查初步定位临时恢复定位可疑进程问题分析问题脚本分析问题原因分析代码分析测试代码prometheus_client分析测试代码前言12月1日，多个省份的HDFS集群出现NameNodeRPC延迟高的问题，当时通宵了一个晚上，模糊的确认是存在频繁的du或者count操作导致的，后来也确认这个操作的发起方是开发人员用python写的采集
转载
2024-03-04 15:46:57
335阅读
在这之前一定要好好理解一下接口的含义，我觉得在这一类中接口理解成规则很恰当。 http接口:基于HTTP协议的开发接口.这个并不能排除没有使用其他的协议。 api接口:API（Application Progra
转载
2024-04-15 14:32:21
75阅读
第一章第一部分首先实现简单的RPC远程通信，流程如下：客户端调用接口的方法，通过代理将要调用的方法信息传输给服务端服务端通过socket监听，当接收到数据后，就创建一个线程去执行通过客户端传输过来的数据反射找到对应的方法，并执行获取到对应的数据将数据封装进response中返回给客户端客户端收到数据后打印。因为是简单的实现，因此直接指定了服务端的地址，后续会进行优化完善。让我们开始吧！项目的整体模
转载
2024-03-20 14:50:41
93阅读
1.1 RPC 是什么定义：RPC（Remote Procedure Call Protocol）——远程过程调用协议 ，RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了传输层和应用层 ，RPC使得开发包括网络分布式多程序在内的应用程序更加容易。我的理解：与其说把RPC 看作是一种协议，倒不如把 它看作是一种 客户机/服务器交互的
转载
2024-05-30 10:08:01
73阅读
文章目录RPC风格服务REST风格服务GraphQL基本语法Vue.jsGitHub地址 RPC风格服务RPC（Remote Procedure Call）—远程过程调用，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了传输层和应用层。RPC使得开发包括
转载
2024-06-05 09:55:38
120阅读
什么是 RPC ？RPC (Remote Procedure Call)即远程过程调用，是分布式系统常见的一种通信方法，已经有 40 多年历史。当两个物理分离的子系统需要建立逻辑上的关联时，RPC 是牵线搭桥的常见技术手段之一。除 RPC 之外，常见的多系统数据交互方案还有分布式消息队列、HTTP 请求调用、数据库和分布式缓存等。 其中 RPC 和 HT
第一章 RPC
概述 RPC
（
Remote Procedure Call
）——
远程过程调用
，它是一种通过
网络
从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。例如有两台服务器分别部署了
A
，
B
两个服务，
A
要调用
B
服务的某个方法或者函数，由于两个服务不在同一个内存
转载
2024-05-08 09:39:45
56阅读
1 : 上传本地文件到HDFS@Test
public void testUpload() throws Exception {
Configuration conf = new Configuration();
//默认值，可以不设置
conf.set("dfs.blocksize", "128m");
// 1.先获取一个访问HDFS的客户端对象
// 参数1
转载
2024-07-16 08:32:03
57阅读
文章目录1. RPC框架概述1.1 RPC工作原理1.2 RPC简单实现 HDFS作为分布式存储系统，各个节点之间的通信必不可少， HadoppRPC是HDFS节点间的通信的基础框架。本文首先将介绍 RPC基本概念及简单的原生实现，随后将基于Hadoop源码分析HadoopRPC的实现细节。 1. RPC框架概述1.1 RPC工作原理RPC（Remote Procedure Call）即远程过程
转载
2023-07-21 14:31:10
93阅读
前面写了Linux的Hadoop集群搭建，现在需要把Lniux与eclipes连接起来。完成一些简单常用的api。搭建外部客户端：1、配置环境变量 1.1 配置jdk的环境变量 1.2 配置hadoop的环境变量 变量名：HADOOP_HOME 路径： 1.3修改Path %HADOOP_HOME%\bin 1.4修改系统用户名 在系统变量中新建HADOOP_USER_NAME 值为root 2、
转载
2024-04-16 22:03:56
246阅读
最近准备写一个.NET的管理平台应用在公司，由于存在大量的Client => Server，Server => Client的请求需求在加上之前一直接触了解过RpcClient组件的开发，所以就造了个新轮子Rabbit.Rpc。这篇文章也用于介绍这个新组件。什么是RPC？ RPC全称为：Remote Procedure Call Pro
转载
2024-08-15 23:08:56
63阅读
这是一个简单的原生RPC例子，用了JDK动态代理,反射,JDK自带的序列化和反序列化以及JAVA原生Socket通信。关于原理的文章很多,可以参考一下其他人的，这里就稍微借鉴一下别人的时序图 1、首先介绍一下项目图 一个RPC Maven项目,其中有三个模块,分别是API、Server、Client。API模块放公共类,Server模块来做服务端,Client模块做客户端。 二、API模块
转载
2023-09-22 16:14:58
47阅读
1、HDFS的JAVA API操作HDFS在生产应用中主要是客户端的开发，其核心步骤是从HDFS提供的api中构造一个HDFS的访问客户端对象，然后通过该客户端对象操作（增删改查）HDFS上的文件。2、搭建开发环境2.1创建Maven工程引入pom依赖<dependencies>
<dependency>
<groupId>
转载
2024-01-26 09:52:29
61阅读
DataNode与NameNode之间基本的通信就是rpc（1）登记，dataNode一经启动就应该主动与namenode 建立rpc连接，并向其登记，让Namenode知道有这么一个DataNode已经在位了。（2）向NameNode发送心跳信号并在这上面搭载各种报告，一来让它知道这个DataNode继续存在，二来让它知道这个DataNode上的存储发生了一些什么变化，特别是节点上
4.6. HDFS 的 RPC 机制RPC 是远程过程调用 (Remote Procedure Call)，即远程调用其他虚拟机中运行的 javaobject。 RPC 是一种客户端/服务器模式， 那么在使用时包括服务端代码和客户端代码， 还有我们调用的远程过程对象。HDFS 的运行就是建立在此基础之上的。本章通过分析实现一个简单的 RPC 程序来分析HDFS 的运行机理。本节难度偏大，读者可以在
转载
2023-11-07 04:12:34
90阅读
第一次在博客写分享，请多多捧场，如有歧义请多多包含！因为业务需求发展需要，所以API接口的变更升级是必不可少的事情，而原有的接口是不可能马上停止使用的。例如：Login接口为例，1.0版本之返回用户的基本信息，而2.0版本的迭代下，要把用户祖宗十八代信息都要返回到客户端，这时候1.0 vs 2.0版本的返回信息有一点信息上的差异，如果在不进行版本控制的情况下，在原1.0的版本下优化，那么会出现一个
转载
2024-04-25 06:43:10
38阅读
hadoop在实现datanode、namenode、client之间的通信时，实现了自己的一套rpc通信的协议，协议服务器端采用nio的方式来处理请求，支持局域网的rpc调用 。 协议的传输数据采用writeable数据，每次调用将具体函数参数（writeable），调用方法
简介 Spark和MapReduce的功能差不多，主要做分布式计算的，而分布式存储还是由HDFS来做，其中Spark进行数据转换时最核心的概念就是RDD，既然是做分布式计算的，那就要搞懂Spark是怎么进行分布式计算的以及工作流程Spark各个模块解决的问题以及特点Spark RDD中API的使用场景 上面说了，spark进行分布式计算是基于HDFS的，所以不光要启动spark集群，还是要启动
写在前面PRC 是一种技术的代名词，HTTP 是一种协议, RPC 可以通过 HTTP 来实现,也可以通过 Socket 自己实现一套协议来实现。所以谈论为什么用 RPC 不用 HTTP 是无意义的。
所以为什么要用rpc调用？
因为良好的 rpc 调用是面向服务的封装，针对服务的可用性和效率等都做了优化。单纯使用 http 调用则缺少了这些特性。
RPC调用过程原理：socket
