RPC(Remote Procedure Call Protocol)远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。Hadoop底层的交互都是通过 rpc进行的。例如：datanode和namenode 、tasktracker和jobtracker、secondary namenode和namenode之间的通信都是通过rpc实现的。下面是rpc交
转载
2023-07-20 17:36:44
75阅读
当前已经进入大数据时代，大数据技术和产品百花齐放，在各自的应用场景发挥重要作用，Redis做为高性能的键值数据库与这些技术有着千丝万缕的联系，本文将介绍如何将Redis与Hadoop、ELK等技术进行结合。一、Redis与HadoopHadoop作为大数据时代的分布式计算平台，由于其高可用性、可扩展性、高容错、低成本等特性，已经是大数据系统的标配，但是Hadoop中HDFS的存储机制使得它无法面向
转载
2023-07-13 15:00:19
93阅读
转载
2023-07-07 14:55:33
60阅读
hadoop入门(5)：了解hadoop
hadoop的起源阶段一阶段二
2003年、2004年谷歌发表的两篇论文为该问题提供了可行的解决方案。
——分布式文件系统（GFS），可用于处理海量网页的存储
——分布式计算框架MAPREDUCE，可用于处理海量网页的索引计算问题。阶段三
Nutch的开发人员完成了相应的开源实现HDFS和MAPREDUCE，并从Nutch中剥离成为独立项目
转载
2023-07-21 23:20:52
39阅读
1. \r\n 和 \n 区别 (来源：百度知道)\r是回车符,\n是换行符计算机还没有出现之前，有一种叫做电传打字机(Teletype Model 33)的玩意，每秒钟可以打10个字符。但是它有一个问题，就是打完一行换行的时候，要用去0.2秒，正好可以打两个字符。要是在这0.2秒里面，又有新的字符传过来，那么这个字符将丢失。于是，研制人员想了个办法解决这个问题，就是在每行后面加两个表
第1章 R和Hadoop入门第1章讲述了几个与R和Hadoop基本知识相关的主题，包括：R的安装、功能和数据建模Hadoop的安装、特征和组成部分前言已介绍了R和Hadoop。本章将重点关注了解并使用这两种技术。到目前为止，R主要用于统计分析，但由于功能和程序包越来越多，在其他一些领域内，它也很受欢迎，例如机器学习、可视化和数据操作。R不能加载所有数据（大数据）到机器内存。所以，可以选
转载
2023-12-06 19:11:28
58阅读
hadoop是由Apache基金会开发的一个大数据分布式系统基础架构，最早版本是2003年原Yahoo!DougCutting根据Google发布的学术论文研究而来。 用户可以在不了解分布式底层细节的情况下，轻松地在Hadoop上开发和运行处理海量数据的应用程序。低成本、高可靠、高扩展、高有效、高容错等特性让Hadoop成为最流行的大数据分析系统，然而其赖以生存的HDFS和MapReduce组件
转载
2023-07-14 16:12:52
129阅读
【JDK】集群中所有机器应该运行相同的Java版本，甚至到补丁的级别【cron】cron守护进程驱动被调度的任务【ntp】选择主节点使其成为所有其他节点的本地ntp服务器【ssh】【postifx/sendmail】出错情况下发送邮件【rsync】在本地和主机之间有效地复制文件
原创
2015-07-13 13:44:05
617阅读
Hadoop介绍Hadoop是Apache软件基金会的一款开源软件。底层是由java语言实现。 功能：允许用户使用简单的编程模型实现跨机器集群对海量数据进行分布式计算处理。Hadoop核心组件： Hadoop HDFS（分布式文件存储系统）：解决海量数据存储 Haqdoop YARN（集群资源管理和任务调度框架）：解决资源任务调用 Hadoop MapReduce（分布式计算框架）：解决海量数据计
转载
2023-08-07 17:23:58
58阅读
hadoop的RPC基本概念：1，RPC(Remote Procedure Call Protocol)--远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了传输层和应用层。RPC使得开发包括网络分布式程序在内的应用程序更加容易。2，had
转载
2023-07-29 18:20:03
68阅读
前言再看本文章之前，请先确保已经看过CentOS下hadoop的分布式搭建和分布式协作服务框架Zookeeper安装部署两篇文章，因为本文章是建立在它们基础之上的。一、HA相关介绍1、为什么出现HA架构Hadoop2.0之前，在HDFS集群中NameNode存在单点故障(SPOF)（也就是namenode单点宕机导致集群不可用的问题）。NameNode主要在以下两个方面影响HDFS集群:
Name
转载
2023-07-12 13:49:44
57阅读
Hadoop作为分布式存储系统，各个节点之间的通信和交互必不可少，所以需要实现一套节点间的通信交互机制。RPC(Remote Procedure CallProtocol，远程过程调用协议)允许本地程序像调用本地方法一样调用远程机器上应用程序提供的服务，所以Hadoop实现了一套自己的RPC框架。Hadoop RPC框架没有使用JDK自带的RMI，而是基于IPC(Inter Process Com
转载
2023-07-04 15:13:20
119阅读
六、Hadoop1.x与Hadoop2的区别1、变更介绍Hadoop2相比较于Hadoop1.x来说，HDFS的架构与MapReduce的都有较大的变化，且速度上和可用性上都有了很大的提高，Hadoop2中有两个重要的变更：l HDFS的NameNodes可以以集群的方式布署，增强了NameNodes的水平扩展能力和可用性；l MapReduce将JobTracker中的资源管
转载
2023-07-24 10:50:30
32阅读
一、Hadoop概述hadoop由两部分组成，分别是分布式文件系统和分布式计算框架MapReduce。其中，分布式文件系统主要用于大规模数据的分布式存储，而MapReduce 则构建在分布式文件系 统之上，对存储在分布式文件系统中的数据进行分布式计算。2、在Hadoop 中，MapReduce 底层的分布式文件系统是独立模块，用户可按照约定的一套接口实现自己的分布式文件系统，然后经过简单的配置后，
转载
2023-06-14 22:17:14
272阅读
目的说明hadoop程序开发过程前提条件ubuntu或同类OSjava1.6.0_45eclipse-indigohadoop-0.20.2hadoop-0.20.2-eclipse-plugin.jar各项版本一定要匹配，否则出了问题都不知道是什么原因。配置配置Java详见：Ubuntu下搭建JAVA开发环境及卸载配置分布式Hadoop详见：hadoop 0.20.2伪分布式安装详解伪分布式与分
转载
2023-09-01 09:33:47
27阅读
I. 导论简单来讲，编程是借助计算机来解决某个问题。学习编程的就是训练我们解决问题的能力。有这样一种说法：在未来，不会编程的人即是文盲。1 为什么要学习R编程大部分情况下解决某些问题还需要依赖一些事实或数据，结合数据分析的框架和计算工具来帮助我们决策和判断。这时候R语言编程就会派上用场。例如从大的方面来看，投资方要决定在何处建立风力发电场，就需要采集天气数据加以建模分析，评估各项目方案。从小的方面
转载
2024-06-13 21:45:15
43阅读
1.什么是RR是用于统计分析、绘图的语言和操作环境。R是属于GNU系统的一个自由、免费、源代码开放的软件，它是一个用于统计计算和统计制图的优秀工具。简单来说，R是一门统计计算语言，是一套开源的数据分析解决方案。2.什么是RStudioRStudio是一款R语言的IDE，R自带的环境操作起来可能不是方便，而Rstudio很好地解决了这个问题，而且它还具有调试、可视化等功能，支持纯R脚本、Rmarkd
转载
2023-08-17 07:43:00
18阅读
HBase和rhbase的安装与使用，分为3个章节。环境准备及HBase安装rhbase安装rhbase程序用例每一章节，都会分为”文字说明部分”和”代码部分”，保持文字说明与代码的连贯性。注：Hadoop环境及RHadoop的环境，请查看同系列前二篇文章，此文将不再介绍。环境准备及HBase安装文字说明部分：首先环境准备，这里我选择了Linux Ubuntu操作系统12.0...
转载
2021-06-09 17:32:54
343阅读
R语言教程（一）1. 前言最好的资料是官方文档，这里是一些总结和实践经验，适合新手入门或者中级者参考，高手请飘过。 官方地址如下：https://www.r-project.org/另外，关于R语言环境的安装以及IDE的使用这里也仅作简单介绍，详细情况可在网上查找其他资源。2.R环境的安装打开官网后，点击“download R”链接，如下图所示。打开后，会显示R语言环境安装文件在不同地区的镜像，
转载
2023-08-31 15:02:46
138阅读
一、你需要什么样的统计软件：SAS or R我被问得最多的问题是“xx软件好用吗？”、“xx软件难不难”之类。其实会xx软件的人都清楚，这种问题是最难回答的，毕竟难者不会，会者不难。楼主认为，初学者应该改变自己最初的问题，与其问一个软件难不难，不如问“我要实现xx需求，xx软件能满足我吗？如何满足？语法是否灵活简介？性能是否足够？商业/社区支持是否充分？”。这些问题基本决定了你适合学习什么软件，由
转载
2024-05-29 05:37:06
65阅读
