1. 读完本章最大的收获是了解了应该如何评估一个系统的能力以及应该怎样为一个线上系统预留发展空间。在系统上线的时候，我们经常被问到的几个问题就是你的系统能承受多大的用户量？我们当前应该部署多少服务才能承载公司的当前和未来一段时间的业务？ 2. 文中给出若干步骤用于预估系统的预留空间，将其总结如下： （1）确定当前的系统负载量，包括了解系统的组成以及每个组成部分的当前负载量；我们现在一般都是
转载
2024-05-27 15:48:54
10阅读
Hive原理与配置Hive概述：1.Hive是一个构建于Hadoop顶层的数据仓库工具，可以查询和管理PB级别的分布式数据。 2.支持大规模数据存储、分析，具有良好的可扩展性 某种程度上可以看作是用户编程接口，本身不存储和处理数据。 3.依赖分布式文件系统HDFS存储数据。 依赖分布式并行计算模型MapReduce处理数据。 4.定义了简单的类似SQL 的查询语言——HiveQL。 5.用户可以通
转载
2023-07-12 12:53:32
91阅读
1 概述HBase是基于Hadoop的分布式的、面向列的、可拓展的开源数据库。当需要对大数据进行随机的、实时的读写时使用HBase。属于NoSQL。HBase利用Hadoop/HDFS作为其文件存储系统，利用Hadoop/MapReduce来处理HBase中的海量数据，利用Zookeeper提供分布式协作、分布式同步、配置管理等。HBase的架构：LSM - 解决磁盘随机写问题(顺序写才是王道)；
转载
2024-06-19 21:58:34
37阅读
本次安装是之前的Hadoop完全分布式集群的基础之上进行，相关软件版本如下： Linux系统：CentOS release 6.5 final x86-64 Jdk：jdk1.8.0_141 hadoop: Yarn的hadoop2.6 scala:scala-2.10.6 spark:spark-1.6.0-bin-hadoop2.6 此处省略jdk和hadoop的安装。 一.下载s
转载
2024-05-01 22:49:25
89阅读
目录HBase伪分布式安装1.前提2.安装包准备3.解压安装包4.具体操作流程5.启动6.测试HBase完全分布式安装1.修改节点的主机名2.ip与主句名映射3.免密4.配置环境hbase-env.sh5.配置开启完全分布式模式hbase-site.xml6.配置region服务器regionservers7.启动zookeepe...
原创
2021-07-15 10:57:26
1067阅读
这几天刚刚接触虚拟化，觉得很好玩，今天又自己部署了NFS存储，以便更轻松的访问计算机资源。ESXi 是vSphere产品套件中的重要部分，负责将计算机的物理资源转化为逻辑资源，从而保证高效地使用计算机资源。ESXi 支持下列类型的存储器：本地存储器将虚拟机文件存储在内部存储磁盘或直接连接的外部存储磁盘上。网络存储器将虚拟机文件存储在通过直接连接或高速网络与主机相连的外部存储磁盘或阵列上。 
转载
2024-02-08 06:03:40
113阅读
HBaseHBase是一个分布式的、面向列的开源数据库。HBase单机安装 单机安装不依赖于Hadoop的分布式文件系统HDFS ,配置完既可使用。不具备分布式，常用于测试。 存储数据的能力。安装步骤：1. 安装JDK，并配置环境变量2. 上传解压Hbase安装包3. 修改Hbase的配置文件在安装目录下的conf/hbase-site.xml 中，配置hbase存储数据的目录，如果不配置，默认是
转载
2023-08-18 22:41:29
71阅读
一、HBase介绍 HBase是一个分布式的、面向列的开源数据库,源于Google的一篇论文《BigTable：一个结构化数据的分布式存储系统》。HBase以表的形式存储数据，表有行和列组成，列划分为若干个列族/列簇(column family)。欲了解HBase的官方资讯，请访问HBase官方网站。 HBase的运行有三种模式：单机模式、伪分布式模式、分布式模式。单机模式：在一台计算机上安装和使
转载
2023-08-05 18:21:02
132阅读
安装模式之完全分布式集群1 完全分布式模式介绍完全分布式，指的是在真实环境下，使用多台机器，共同配合，来构建一个完整的分布式文件系统。
在真实环境中，hdfs中的相关守护进程也会分布在不同的机器中，比如：
-1. namenode守护进程尽可能的单独部署在一台硬件性能相对来说比较好的机器中。
-2. 其他的每台机器上都会部署一个datanode守护进程，一般的硬件环境即可。
-3. seconda
转载
2024-01-25 17:55:25
48阅读
一、安装准备 1、下载hadoop，地址：http://hadoop.apache.org/,下载相应版本 2、下载JDK版本：Hadoop只支持1.6以上，地址：http://www.oracle.com/technetwork/java/javase/downloads/index.ht
原创
2014-08-18 23:14:11
1143阅读
用Hadoop搭建完全分布式集群 文章目录用Hadoop搭建完全分布式集群一、平台软件说明二、完全分布式说明1.集群搭建准备1.1关闭防火墙1.2主机映射1.3 免密登录1.4 时间同步1.5安装JDK和配置环境变量1.6 修改配置文件1.6.1 core-site.xml1.6.2 修改hdfs-site.xml1.6.3 修改hadoop-env.sh1.7 启动集群2. 关于集群启停的脚本3
Hive的安装
Hive的安装相对比较简单，只需修改几个配置就行。Hive自动了元数据库，但使用不方便，因为自带的数据库如果进入hive shell的路径不一致，就看不到对应的表，如从/home进入hive建的表，从/home/hadoop,路径进入hive则看不到刚才建的表，所有建议单独安装数据库作为元数据库，我安装了mysq数据库，作为Hive的元数据库。
1、安装
转载
2023-07-14 16:08:27
0阅读
Spark环境搭建搭建所使用的环境和软件搭建集群集群规划配置spark相关文件原文链接 搭建所使用的环境和软件服务器集群 我用的CentOS-7版本的3个虚拟机，主机名为hadoop01、hadoop02、hadoop03。scala-2.13.4.tgz安装包spark-2.4.7-bin-hadoop2.7.tgz安装包搭建集群集群规划1： 将scala与spark安装包上传到hadoop-
转载
2023-09-21 11:32:52
58阅读
一、Hadoop集群部署模式Hadoop的安装部署的模式一共有三种：独立模式（本地模式） standalone 默认的模式，无需运行任何守护进程（daemon），所有程序都在单个JVM上执行。由于在本机模式下测试和调试MapReduce程序较为方便，因此，这种模式适宜用在开发阶段。使用本地文件系统，而不是分布式文件系统。伪分布模式 pseudo distributed 在一台主机模拟多主机。即Ha
转载
2023-07-12 12:14:37
116阅读
今天研究了下zookeeper，先跟大家分项下部署过程~~相对于hadoop其他软件来说，zookeeper的安装还是很简单的环境说明： 虚拟机3台 IP地址
原创
2014-07-17 12:01:30
820阅读
Hadoop 分布式安装 环境说明：阿里云弹性实例ubuntu16.04 Hadoop版本2.7.6 java版本1.8 所有弹性实例都是在同一个区，ip全部用私有ip 阿里云服务器记得配置安全规则端口 We will create a 3 node cluster system(1-Master,
转载
2018-12-20 00:37:00
161阅读
2评论
1.选择三台clickhouse节点，在每台节点上安装clickhouse需要的安装包这里选择node1、node2,node3
原创
2022-07-02 00:10:29
465阅读
剖析Elasticsearch集群系列涵盖了当今最流行的分布式搜索引擎Elasticsearch的底层架构和原型实例。 本文是这个系列的第二篇，我们将讨论Elasticsearch如何处理分布式的三个C((共识(consensus)、并发(concurrency)和一致(consistency))的问题、Elasticsearch分片的内部概念，比如translog(预写日志，WAL(Write
Zookeeper分布式安装
转载
精选
2014-03-17 13:14:02
377阅读
HBase分布式安装
转载
精选
2014-03-17 13:27:59
717阅读
