Hadoop入门环境搭建1.基础环境 1.1安装版本 Hadoop2.8.4， JDK1.8， Centos7， VMware Workstation14 1.2在虚拟机安装服务器并配置 我在虚拟机上安装3个centos系统，分别命名为master，slave1，slave2。 1.2.1 修改服务器名称 使用hostname命
转载
2024-06-07 12:20:47
60阅读
学习HDFS绕不开的一个重要的知识点就是Hadoop RPC框架。但是能将RPC框架从客户端->服务端，再从服务端到客户端这一套通信脉络顺着讲明白的资料很少。不少都是给出各个类的定义啊，调用了什么方法啊，很难让读者直观的理解Hadoop RPC框架。因此决定写这样一篇文章，我觉得只要认真读这篇文章，同时跟着本文的流程走一遍，掌握Hadoop RPC框架绝对是不在话下。本文通过流程图+文字详细
转载
2023-07-12 12:56:35
68阅读
Nginx 1 什么是NginxNginx ("engine x") 是一个高性能的 HTTP和反向代理服务器，也是一个 IMAP/POP3/SMTP 服务器。 正向代理： 反向代理： 很多大网站都是使用nginx做反向代理，应用非常广泛。Nginx是一款高性能的http 服务器/反向代
转载
2024-06-16 14:16:52
43阅读
预备perl-Test-Simple.spec 问题
1.302175版本不存在，可以调整为1.302190,可以按需调整依赖问题
需要依赖zlib，pcre，openssl，等rpm包，需要先构建zib 然后是openssl,然后是pcre，同时构建好之后还需要先安装，然后就能继续构建了
说明下官方的文档并不是很清楚rpmbuild -ba openresty-zlib.specrpmb
原创
2022-04-12 10:54:17
671阅读
1. RPM 简介 RPM （Resd HatPackage Manager ），顾名思义是 Red Hat 的软件包管理。RPM 可以让用户直接以 binary 方式安装软件包，并且可以在安装、更新和删除的时候自动解决软件包的依赖。 2. 构建 RPM 包 2.1. 安装工具 首先需要安装一些必要 ...
转载
2021-08-23 16:13:00
782阅读
场景：cacti 0.8.7 --> 0.8.8 升级，删除原来，打补丁…RPM capability 能力 封装 构建 厕所。rpmbuildd ba 既生成源示%创建软件的可复制构建。定义日志版本更新说明。
原创
2022-11-13 00:35:29
122阅读
在用户zongxun下创建 RPM 工作空间。
原创
2022-11-14 05:42:49
215阅读
1.Dubbo是什么Apache Dubbo 是一款高性能、轻量级的RPC框架1.1Dubbo可以做什么Apache Dubbo提供了六大核心能力：面向接口代理的高性能RPC调用，智能容错和负载均衡，服务自动注册和发现，高度可扩展能力，运行期流量调度，可视化的服务治理与运维1.1.1Dubbo架构2.Dubbo整合SpringBoot2.1安装DubboAdmin2.1.1安装DubboAdmin
一、 Zabbix介绍docker hub 运维离不开系统监控，鱼儿哭了大海知道，服务器崩了，监控知道。一款强大的监控系统可以有力保证设备和业务的稳定。作为老牌的监控系统，Zabbix 的架构包括了被监控设备和 Zabbix 监控服务器两大部分。Zabbix Agent 运行在被监控设备上，负责和 Zabbix Server 通信获取和控制被监控设备，它有主动和被动两种工作模式。Zabbix Se
转载
2024-10-27 20:48:52
0阅读
SYNOPSIS 构建打包： rpmbuild {-ba|-bb|-bp|-bc|-bi|-bl|-bs} [rpmbuild-options] SPECFILE ... rpmbuild {-ta|-tb|-tp|-tc|-ti|-tl|-ts} [rpmbuild-options] TARBAL
转载
2019-06-27 16:52:00
287阅读
2评论
1. RPM包命名规则httpd-2.2.15-15.e16.centos.1.i686.rmp gttpd————— 软件包 2.2.15 ———— 软件版本 15—————— 软件发布的次数 e16.centos—— 适合的linux平台 i686————— 适合的硬件平台 rpm————— rpm包扩展名2. RPM包依赖性树形依赖：a——>b——>c环形依赖：a——>b—
#rpm构建流程 学习链接： b站马哥： https://www.bilibili.com/video/BV1ai4y1N7gp RedHat： https://access.redhat.com/documentation/zh-cn/red_hat_enterprise_linux/8/html ...
转载
2021-11-02 23:49:00
724阅读
2评论
rpm打包需要特定的目录及结构。查看rpm打包目录 测试在CentOS6.3rpm打包需要特定的目录及结构。查看rpm打包目录 测试在CentOS6.3[root@localhost ~]# rpm --showrc|grep _topdir-14: _builddir %{_topdir}/BUILD-14:&n
原创
2016-05-09 17:37:35
2164阅读
cmake 实际上包含了构建，测试，以及打包的能力，以下是一个简单的rpm 打包测试（cpack 模块） 项目结构 ├── CM
原创
2023-11-29 11:11:26
328阅读
@目录Hadoop RPC 框架解析1.Hadoop RPC框架概述1.1 RPC框架特点1.2 Hadoop RPC框架2.Java基础知识回顾2.1 Java反射机制与动态代理2.1.1 代理关键类&接口信息2.1.2 动态代理创建对象的过程2.2 Java网络编程2.3 Java NIO2.3.1 简介2.3.2 常用类3.Hadoop RPC基本框架分析3.1 RPC基本概念3.1
转载
2023-10-02 22:52:08
98阅读
这篇文章，我们研究YarnRpc，这是在在hadoop Rpc机制上的封装。 首先，我们看类图和注释。 YarnRPC是抽象工厂，HadoopYarnProtoRPC是具体工厂，它使用RpcFactoryProvider来创建Server和Client的工厂，这两个工厂分别创建服务器和客户端对象。
转载
2023-12-20 20:38:06
26阅读
文章目录hadoop简介hadoop四大模块hadoop的五大节点hadoop的应用场景HDFS的存储架构HDFS读写的原理hadoop的故障检测机制 hadoop简介Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distribut
转载
2023-10-02 20:16:40
39阅读
用户编写完MapReduce程序后，按照一定的规则指定程序的输入和输出目录，并提交到Hadoop集群中。 Hadoop将输入数据切分成若干个输入分片(input split)，并将每个split交给一个Map Task处理；Map Task不断的从对应的split中解析出一个个key/value，并调用map()函数处理。处理完之后根据Reduce Task个数将结果分成若干个分片(partit
Hadoop生产环境搭建
1. 将安装包hadoop-2.x.x.tar.gz存放到某一目录下，并解压。
2. 修改解压后的目录中的文件夹etc/hadoop下的配置文件（若文件不存在，自己创建。）
包括hadoop-env.sh,mapred-site.xml,core-site.xml,hdfs-site.xml,yarn-site.xml
3. 格式化并启动HDFS
4. 启动YA
转载
2023-08-10 09:32:31
38阅读
1. 卸载CentOS自带的JDK和多余的软件yum remove java* libreoffice* -y2. 关闭防火墙,SELINUXsystemctl stop firewalld.servicesystemctl disable firewalld
原创
2017-10-28 17:56:39
799阅读
点赞
