最近准备写一个.NET的管理平台应用在公司，由于存在大量的Client => Server，Server => Client的请求需求在加上之前一直接触了解过RpcClient组件的开发，所以就造了个新轮子Rabbit.Rpc。这篇文章也用于介绍这个新组件。什么是RPC？ RPC全称为：Remote Procedure Call Pro
转载
2024-08-15 23:08:56
63阅读
DataNode与NameNode之间基本的通信就是rpc（1）登记，dataNode一经启动就应该主动与namenode 建立rpc连接，并向其登记，让Namenode知道有这么一个DataNode已经在位了。（2）向NameNode发送心跳信号并在这上面搭载各种报告，一来让它知道这个DataNode继续存在，二来让它知道这个DataNode上的存储发生了一些什么变化，特别是节点上
问题现象问题描述 公司业务程序需求每30分钟mv 一万多个文件，如果三十分钟之内当前的文件内容没有全部移动，程序报错并且停止。分析 通过分析，发现在启动balancer和不启动balancer的情况下，namenode的处理能力差别巨大。不启动balancer，一万多个文件不到20秒全部移动成功，启动balancer的情况下，如果当前需要平衡的数据量大，30分钟根本不能全部移动，这时候程序就报
转载
2024-05-17 00:48:51
302阅读
DataNode作用1、执行数据的读写（响应的是客户端） 2、周期性向NameNode做汇报（数据块的信息、校验和） 若datanode 10分钟没有向NameNode做汇报，表示已丢失（已宕机） 心跳周期 3秒 3、执行流水线的复制（一点一点复制）机架感知实际上需要工程师收到创建一个脚本（python sh ）,脚本中记录主机IP和交换机的对应关系。 配置的位置是core-site.xml 最终
转载
2024-09-23 12:44:54
93阅读
问题现象问题描述 公司业务程序需求每30分钟mv 一万多个文件，如果三十分钟之内当前的文件内容没有全部移动，程序报错并且停止。分析 通过分析，发现在启动balancer和不启动balancer的情况下，namenode的处理能力差别巨大。不启动balancer，一万多个文件不到20秒全部移动成功，启动balancer的情况下，如果当前需要平衡的数据量大，30分钟根本不能全部移动，这时候程序就报
转载
2024-05-21 14:43:19
59阅读
一次Namenode的RPC延迟故障排查引发的深入思考前言正文问题排查初步定位临时恢复定位可疑进程问题分析问题脚本分析问题原因分析代码分析测试代码prometheus_client分析测试代码前言12月1日，多个省份的HDFS集群出现NameNodeRPC延迟高的问题，当时通宵了一个晚上，模糊的确认是存在频繁的du或者count操作导致的，后来也确认这个操作的发起方是开发人员用python写的采集
转载
2024-03-04 15:46:57
335阅读
DataNode作用1、执行数据的读写（响应的是客户端） 2、周期性向NameNode做汇报（数据块的信息、校验和） 若datanode 10分钟没有向NameNode做汇报，表示已丢失（已宕机） 心跳周期 3秒 3、执行流水线的复制（一点一点复制）机架感知实际上需要工程师收到创建一个脚本（python sh ）,脚本中记录主机IP和交换机的对应关系。配置的位置是core-site.xml 最终添
序最近都在virtualbox上折腾虚拟机，只是想把他最大化，看起来跟真实的操作系统一样（本人比较追求完美），但是安装virtualbox的增强功能总是报错，原因在于有关内核的几个包的版本不一致，这是就想到了升级版本为统一的，但是升级之后，发现可以同时存在，不知道为什么增强go能就是死活安装不上，因此就直接rpm -e 加对应的软件包，结果删着删着，发现依赖太多了，那么有没有顺带删除依赖呢？--n
在使用dubbo时，通常会遇到timeout这个属性，timeout属性的作用是：给某个服务调用设置超时时间，如果服务在设置的时间内未返回结果，则会抛出调用超时异常：TimeoutException，在使用的过程中，我们有时会对provider和consumer两个配置都会设置timeout值，那么服务调用过程中会以哪个为准？橘子同学今天主要针对这个问题进行分析和扩展。三种设置方式以provide
RPC作为NameNode和外界交互的接口，在NameNode中占有很重要的位置，RPC Server中包含几个重要组件，他们之间是相互联系共同工作的，不能孤立观察其中一个线程，总的来说有四个主要线程Listener Reader Handler Responser，对外提供服务时由Listener负责监听对外接口，Reader负责读入数据，Handler负责处理数据，也就是RPC调
dubbo 底层使用了 Netty 作为网络通讯框架，要求用 Netty 实现一个简单的 RPC 框架，消费者和提 供者约定接口和协议，消费者远程调用提供者的服务。 客户端启动类ClientBootStrap代理对象执行具体业务逻辑，RPC代理类会将业务逻辑封装request请求对象（接口服务类名、方法、参数类型、参数等），利用netty网络传输发送给服务端，服务端解码获取请求对象（接口服务类名、
日志级别
info 日志多warn 日志偏少error 日志更少1.HDFS写流程 面试 对用户操作是无感知的[hadoop@bigdata13 ~]$ hadoop fs -put ./wc.data /
[hadoop@bigdata13 ~]$ hadoop fs -ls /1.Client调用Fi
135端口主要用于使用RPC（Remote Procedure Call，远程过程调用）协议并提供DCOM（分布式组件对象模型）服务。
端口说明：135端口主要用于使用RPC（Remote Procedure Call，远程过程调用）协议并提供DCOM（分布式组件对象模型）服务，通过RPC可以保证在一台计算机上运行的程
一次Namenode的RPC延迟故障排查引发的深入思考前言正文问题排查初步定位临时恢复定位可疑进程问题分析问题脚本分析问题原因分析代码分析测试代码prometheus_client分析测试代码 前言12月1日，多个省份的HDFS集群出现NameNodeRPC延迟高的问题，当时通宵了一个晚上，模糊的确认是存在频繁的du或者count操作导致的，后来也确认这个操作的发起方是开发人员用python写的
在Kubernetes中，配置【dfs.namenode.rpc-address】通常用于指定Hadoop中的NameNode节点的RPC地址。在本文中，我们将详细介绍如何在Kubernetes环境中设置【dfs.namenode.rpc-address】，并为初学者提供一些指导。
首先，让我们来看一下整个过程的步骤。我们可以用以下表格来展示整个配置的流程：
| 步骤 | 操作
原创
2024-05-16 11:12:26
116阅读
本篇开始准备手打一个简易的RPC框架。 主要实现功能:序列化通信 自定义通信协议，进行rpc序列化以及反序列化动态注入 服务启动自动注入消费者以及提供者注册中心 注册中心获取服务，并监听服务变化拦击器功能 提供请求响应拦截功能，提供扩展接口负载均衡 实现客户端对服务的负载均衡功能整体流程如下:本章主要实现序列化功能，这里以Netty为核心进行构建。一.pom依赖jdk为1.8，pom 文件依赖如下
HDFS高可用一、高可用存在背景在Hadoop2.x之前，HDFS集群中只有一个NameNode节点，而NameNode节点可能会发生单点故障，一旦NameNode节点发生单点故障，整个集群都将处于不可用状态。或者当NameNode节点所属的机器进行软件或硬件升级时，同样会造成整个集群处于不可用状态。 为了解决上述问题，所以出现了HDFS高可用特性。二、高可用架构在一个典型的高可用集群中，两个或更
转载
2024-01-27 21:05:06
104阅读
NameNode故障后，可以采用如下两种方法恢复数据。方法一：将SecondaryNameNode中数据拷贝到NameNode存储数据的目录；1. kill-9 NameNode进程2.删除NameNode存储的数据（/opt/module/hadoop-2.7.2/data/tmp/dfs/name）[angel@hadoop112 hadoop-2.7.2]$ rm -r...
原创
2022-03-30 10:08:58
212阅读
NameNode故障后，可以采用如下两种方法恢复数据。
方法一：将SecondaryNameNode中数据拷贝到NameNode存储数据的目录；
1. kill -9 NameNode进程
2. 删除NameNode存储的数据（/opt/module/hadoop-2.7.2/data/tmp/dfs/name）
[angel@hadoop112 hadoop-2.7.2]$ rm -rf /
原创
2021-08-07 23:09:59
286阅读
My Tips:Ctrl -z -> suspendfg -> foregroundbg  
转载
2024-06-20 08:03:02
66阅读
