1.摘要 学习任何一门技术，都需要反复推敲其原理，然后通过测试、再结合其原理进行仔细揣摩，最终达到精通，这个过程需要时间和精力，同时更需要自己和他人的反复质疑。正所谓：灵感的来源少不了外界的刺激。 接下来，针对IBM HACMP，我们对其进行全面、彻底的分析和测试
转载
2024-05-07 18:37:04
57阅读
Hadoop组成:HDFS(存储)+MapReduce(计算)+yarn(资源管理)HDFS:高可靠,高扩展性和高吞吐率的数据存储服务MapReduce:编程,高容错性,高扩展性YARN:负责集群资源的管理和调度...
原创
2021-06-01 16:31:08
223阅读
Hadoop组成:HDFS(存储)+MapReduce(计算)+yarn(资源管理)HDFS:高可靠,高扩展性和高吞吐率的数据存储服务MapReduce:编程,高容错性,
原创
2022-02-24 18:44:32
202阅读
搭建组件：集群+win7客户端
1) hadoop2.2.0搭建；
2）zookeeper3.4.6搭建；
原创
2016-05-05 21:44:45
609阅读
NameNode e)task...
原创
2023-08-03 22:18:51
59阅读
什么是 RPC？RPC 的全称是 Remote Procedure Call，即远程过程调用。简单解读字面上的意思，远程肯定是指要跨机器而非本机，所以需要用到网络编程才能实现，但是不是只要通过网络通信访问到另一台机器的应用程序，就可以称之为 RPC 调用了？显然并不够。我理解的 RPC 是帮助我们屏蔽网络编程细节，实现调用远程方法就跟调用本地一样的体验，我们不需要因为这个方法是远程调用就需要编写很
转载
2024-03-27 17:12:16
61阅读
# Hadoo数据分析：探索数据的力量
在当今数据驱动的世界中，数据分析已成为企业决策、市场研究和科学发现等各个领域的重要工具。Hadoo是一种强大的数据分析框架，能够处理大型数据集并提供深刻的洞察。本文将介绍Hadoo的基本概念，并通过代码示例展示如何使用该工具进行数据分析。
## Hadoo简介
Hadoo是一个开源的分布式计算框架，旨在处理大规模数据集。它的核心思想是将数据存储和计算资
原创
2024-08-28 04:32:45
18阅读
一、NumPy科学计算库 ### Po，功夫熊猫中阿宝。勤加练习，你就所向披靡！ ~~~ Nu型矩阵， ~~~ ⽐Python⾃身
原创
2022-04-19 15:29:26
107阅读
文件读取的过程如下：使用HDFS提供的客户端开发库Client，向远程的Namenode发起RPC请求； Namenode会视情况返回文件的部分或者全部block列表，对于每个block，Namenode都会返回有该block拷贝的DataNode地址； 客户端开发库Client会选取离客户端最接近的DataNode来读取block；如果客户端本身就是DataNode,那么将从本地直接获取数据.
转载
2024-10-18 18:44:04
55阅读
RPC源码实现&解析写在前面：最近复习的时候，RPC协议不咋清楚，就去学习了下，看了博客还是不太懂，就跟着这一篇手动实现了下，在此记录下过程实现过程原理讲解：RPC的全称是Remote Producedure Call-->远程过程调用，通俗的来讲就是客户端调用服务端的方法，并获取返回的结果如图不通过http（在应用层，很慢），使用socket编程实现然后服务端和客户端设计如下：
服
转载
2024-03-18 17:09:16
27阅读
因为工作需要，我们使用hbase + hadoop存储基于用户内容的数据(UGC)，本文将描述如何逐步搭建此平台，仅作参考。 1. 环境 操作系统：Red hat 6.3，300G硬盘，双核CPU JAVA：JDK1.6 HBASE：hbase-0.98.1 Hadoop：hadoop-2.2.0 现在我们使用
转载
2022-01-04 17:21:37
118阅读
学习dubbo有一段时间了，因为公司里，服务端是java，客户端是dotNet，走thrift协议，当时写dubbo-rpc-thrift时是4月份，依赖的dubbo版本最新是2.1.1，那个时候，阿里开源出来的协议里还没有thrift协议，所以只有自己实现。
因为各种原因，今天把dubbo-rpc-thrift又重构了，因为感觉以前的代码不够紧凑，太松
简介本文接着上文(Golang GinWeb框架2-文件上传/程序panic崩溃后自定义处理方式)继续探索GinWeb框架记录日志到文件利用io.MultiWriter多写出器可以实现日志记录到文件的同时也输出到控制台package mainimport ("github.com/gin-gonic/gin""io""os")func main() {// Disable Console Colo
hadoop分布式模型实现
原创
2017-07-03 17:57:56
1882阅读
这是一个只有mapper的任务代码：主要有两个文件，一个是shell脚本文件，主要是执行hadoop命令，一个是用python编写的mapper脚本文件首先看下shell脚本文件，#cat get_lemma_fenci.sh#/bin/bash
. /etc/profile
if [ -f ~/.bash_profile ]
then
. ~/.bash_p
转载
2023-11-22 15:55:43
37阅读
前言很长时间以来都没有怎么好好搞清楚RPC（即Remote Procedure Call，远程过程调用）和HTTP调用的区别，不都是写一个服务然后在客户端调用么？这里请允许我迷之一笑~Naive！本文简单地介绍一下两种形式的C/S架构，先说一下他们最本质的区别，就是RPC主要是基于TCP/IP协议的，而HTTP服务主要是基于HTTP协议的，我们都知道HTTP协议是在传输层协议TCP之上的，所以效率
转载
2024-10-25 08:42:48
60阅读
文章目录RPC 机制和实现过程RPC 框架的组成RPC 和 HTTP 概念解析常见的 PRC 框架 在微服务架构中，每个服务实例负责一个单一领域的业务实现，不同服务实例之间需要进行频繁交互来共同实现业务。那它们是如何通信的呢？服务实例之间主要通过轻量级的远程调用方式来实现，比如 RPC。 RPC（Remote Procedure Call，远程过程调用协议），是一种通过网络从远程计算机程序上请
转载
2024-03-29 07:31:51
39阅读
本文安装环境介绍:a、三台linux服务器,分别命名为node1、node2、node3(已在/etc/hosts文件里做好了ip和名字的映射)b、软件压缩包存储路径:/export/software/c、解压后安装包存储路径:/export/server/d、hadoop版本:hadoop-3.3.0hadoop和hbase兼容性 1、下载Hbase网址:https://dlcdn.a
转载
2023-07-23 17:36:57
80阅读
1 分布式架构网络通信 在分布式服务框架中，一个最基础的问题就是远程服务是怎么通讯的，在Java领域中有很多可实现远程通讯的技术，例如：RMI、Hessian、SOAP、ESB和JMS等，它们背后到底是基于什么原理实现的呢 2 基本原理 要实现网络机器间的通讯，首先得来看看计算机系统网络通信的基本原理，在底层层面去看，网络通信需要做的就是将流从一台计算机传输到另外一台计算机，基于传输协议和网络IO
转载
2024-04-16 15:01:06
43阅读
简介 计算机"端口"是英文port的译义，可以认为是计算机与外界通讯交流的出口。其中硬件领域的端口又称接口，如：USB端口、串行端口等。软件领域的端口一般指网络中面向连接服务和无连接服务的通信协议端口，是一种抽象的软件结构，包括一些数据结构和I/O（基本输入输出）缓冲区。 在网络技术中，端口（Port）有好几种意思。 集线器、 交换机、 路由器的端口指的是连接其他网络设备的接口，如R
