横向扩展（scale out）也叫水平扩展，指用更多的节点支撑更大量的请求。例如1台机器支撑10000TPS，两台机器是否能支撑20000TPS？纵向扩展（scale up）也叫垂直扩展，扩展一个点的能力支撑更大的请求。通常通过提升硬件实现，例如把磁盘升级为SSD。横向扩展通常是为了提升吞吐量，响应时间一般要求不受吞吐量影响即可。因为本身在访问量比较小的时候，响应时间就是可接受的范围，例如去分布式
1、Hadoop运行模式Hadoop有三种运行模式，分别如下：单机(非分布式)模式伪分布式(用不同进程模仿分布式运行中的各类节点)模式完全分布式模式注：前两种可以在单机运行，最后一种用于真实的集群环境，通常用在生产环境上。我们可以搭建本地的伪分布式模式来模拟分布式环境的执行。 2、Hadoop的安装及配置环境：Ubuntu16.04LTS，Hadoop 2.5.2，准备四台机器，ip及主
转载
2023-09-06 23:13:22
96阅读
1.添加白名单白名单：表示在白名单的主机IP地址可以，用来存储数据。企业中：配置白名单，可以尽量防止黑客恶意访问攻击。 配置白名单步骤如下（1）在hadoop-3.1.3/etc/hadoop目录下分别创建whitelist 和blacklist文件 1）创建白名单vim whitelist，在whitelist中添加如下主机名称  
转载
2023-09-25 20:53:37
5阅读
一、修改hostnamehostnamectl set-hostname hadoopxx二、修改网络配置ifconfigcat /etc/sysconfig/network-scripts/ifcfg-ens33cp /etc/sysconfig/network-scripts/ifcfg-ens33 /etc/sysconfig/network-scripts/ifcfg-ens33.tempaltevim /etc/sysconfig/network-scri...
原创
2021-08-26 09:23:50
271阅读
一、修改hostnamehostnamectl set-hostnam
原创
2022-04-22 13:53:40
290阅读
1.添加白名单、黑名单设置白名单和黑名单后，只有白名单上的主机节点允许访问 NameNode；不在白名单上的主机节点都会从集群中退出。在黑名单上的主机节点也会从集群中退出，黑名单一般用来退役主机节点。同一个主机节点不能同时配置在白名单和黑名单中* 步骤（1）在目录/opt/module/hadoop-3.1.3/etc/hadoop下，创建文件 whitelist 和 blacklist（文件名
转载
2023-09-01 08:46:30
54阅读
完全分布式安装： 1.集群规划 a.服务分配 组件 Linux.one&
转载
2024-09-17 21:09:15
62阅读
Hadoop性能优化：Hadoop机架感知实现及配置：分布式的集群通常包含非常多的机器，由于受到机架槽位和交换机网口的限制，通常大型的分布式集群都会跨好几个机架，由多个机架上的机器共同组成一个分布式集群。机架内的机器之间的网络速度通常都会高于跨机架机器之间的网络速度，并且机架之间机器的网络通信通常受到上层交换机间网络带宽的限制。
具体到Hadoop集
Hadoop基本安装配置主要包括以下五个步骤1、 创建Hadoop用户2、 安装Java3、 设置SSH登录权限4、 单机安装配置5、 伪分布式安装配置6、 完全分布式安装本文使用虚拟机部署方式实现Hadoop集群，虚拟机环境采用Virtual box+Ubuntu16.04，一个master，两个slaver节点(本文中node1为master，node2和node3为slaver)，主机操作系
转载
2023-07-12 12:22:57
133阅读
操作Hadoop集群所有必要的配置完成后，将文件分发到所有机器上的HADOOP_CONF_DIR目录。这应该是所有机器上相同的目录。一般来说，建议HDFS和YARN作为单独的用户运行。在大多数安装中，HDFS进程作为“hdfs”执行。YARN通常使用“纱线”帐户。Hadoop启动要启动Hadoop集群，您需要启动HDFS和YARN集群。首次升级HDFS时，必须格式化。将新的分布式文件系统格式化为h
转载
2023-07-11 00:50:42
47阅读
在2.x版本中Hadoop HA 一台配置为Active Namenode，对外提供服务 若干台配置为：Standby Namenode，待机状态集群规划机器名hadoop2hadoop3hadoop4namenodenn1nn2resourcemanagerrm1rm2HDFSNameNode DataNode JournalnodeNameNode DataNode JournalnodeDa
转载
2023-09-22 12:49:45
35阅读
作者 岑文初 发布于 2008年8月7日 下午1时39分
Java
主题
网格计算 ,
集群与缓存
标签
Hadoop ── 分布式计算开源框架Hadoop入门实践（二） 其实参看Hadoop官方文档已经能够很容易配置分布式框架运行环境了，不过这里既然写了就再多写一点，同时有一些细节需要注意的也说明一
转载
2023-08-04 11:08:54
42阅读
一、集群环境准备工作 1、修改主机名 在root 账户下 vi /etc/sysconfig/network 或者 sudo vi /etc/sysconfig/network 2、设置系统默认启动级别 &n
转载
2023-09-14 08:21:51
257阅读
搭建过hadoop之后，如何让程序在hadoop集群中分布式运行成了一件令人头痛的事。 可能有人会说在eclipse的类文件中右键点击-》“run on hadoop”不就行了嘛，注意：eclipse中的“run on hadoop”默认只是运行在单机上的，因为要想在集群中让程序分布式运行还要经历上传类文件、分发到各个节点等过程的，一个简单的“run on hadoop”只是启动了本地hadoo
转载
2024-06-19 08:43:12
17阅读
文章目录Hdfs运行状态下扩展集群配置bigdata4的运行环境修改bigdata4的ip地址和主机名修改bigdata4的hadoop配置文件配置bigdata1设置免密登录配置bigdata4的运行环境 Hdfs运行状态下扩展集群为了方便演示，我的集群里目前只存在bigdata1一个节点，在集群开启的情况，向其中加入一个bigdata4节点。配置bigdata4的运行环境需要为bigdata
转载
2023-10-19 22:53:34
29阅读
Hadoop 集群的安装配置大致为如下流程:选定一台机器作为 Master在 Master 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境在 Master 节点上安装 Hadoop，并完成配置在其他 slave 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境将 Master 节点上的 /usr/local/hadoop 目录复制到
转载
2023-09-14 13:58:15
85阅读
一、hadoop简介 HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起 HDFS集群：负责海量数据的存储，集群中的角色主要有 NameNode / DataNode YARN集群：负责海量数据运算时的资源调度，集群中的角色主要有 ResourceManager /NodeManager二、hdfs的工作机制(一)、概述 1. HDF
转载
2024-02-12 22:01:42
40阅读
Hadoop基础篇 01 Hadoop集群的部署与使用集群节点类型相关知识Hadoop框架中最核心的设计HDFS 为海量数据提供存储MapReduce 对数据进行计算的MapReduce的主要作业从磁盘或从网络读取数据，即IO密集工作；计算数据，即CPU密集工作‘Hadoop集群的整体性能Hadoop集群的整体性能取决于CPU、内存、网络以及存储之间的性能平衡。因此运营团队在选择机器配置时要针对不
转载
2023-07-12 14:27:35
48阅读
一 搭建虚拟机（虚拟机搭建过程）1.在主页点击创建新的虚拟机
2.选择自定义高级，点击下一步
3.直接点击下一步
4.选择稍后安装操作系统，点击下一步
5.客户机系统选择Linux，版本是CentOS 64位，点击下一步
6.修改虚拟机名称与虚拟机存放位置，点击下一步
7.默认设置处理器数量为1；每个处理器的核心数量为1；总处理器核心数量为1 ，不需要更改设置，直接点击下一步
8.默认虚拟机的内存
转载
2023-07-12 03:11:52
68阅读
写在前面前文地址1 前文地址2我们搭建了hadoop集群，接下来学习一下如何对HDFS进行操作（即hadoop的分布式文件系统）。毕竟我们不能白搭建集群嘛。主要可以分为shell操作和API操作。shell操作以下操作都在hadoop目录下，如我的就在/opt/module/hadoop-2.7.2这里有两种方法，**bin/hadoop fs 具体命令 **或者 bin/hdfs dfs 具体命
转载
2023-07-05 15:40:31
47阅读
