在hadoop中使用lzo的压缩算法可以减小数据 的大小和数据的磁盘读写时间，不仅如此，lzo是基于block分块的，这样他就允许数据被分解成chunk，并行的被hadoop处理。这样的特点，就可以让lzo在hadoop上成为一种非常好用的压缩格式。 由于压缩的数据通常只有原始数据的1/4，在HDFS中存储压缩数据，可以使集群能保存更多的数据，延长集群的使用
转载
2023-09-14 13:04:14
46阅读
目录1.Namenode多目录配置2.Datanode多目录配置2.1 Datanode配置多目录的必要性2.2 Datanode配置多目录2.2 Datanode多目录数据平衡3.启动namenode和datanode多目录配置集群 1.Namenode多目录配置Namenode数据（操作日志文件，镜像文件等）存储路径可以配置多个不同路径，这些路径里面存储的数据相同。主要用作数据备份。 在hd
转载
2023-07-12 12:53:05
433阅读
hadoop集群搭建01--hadoop 的安装配置三台机器 Centos 7192.168.2.37 计算机名称 master 192.168.2.38 计算机名称 slave1 192.168.2.39 计算机名称 slave2版本 zookeeper-3.4.13 Hadoop-2.7.7 Hbase-2.1.0 apache-hive-2.1.1
转载
2023-09-18 21:27:41
70阅读
通常，集群里的一台机器被指定为 NameNode，另一台不同的机器被指定为JobTracker。这些机器是
masters。余下的机器即作为DataNode
也作为TaskTracker。这些机器是
slaves\
官方地址：(http://hadoop.apache.org/common/docs/r0.19.2/cn/cluster_setup
目录一、Hadoop概念二、Hadoop的安装2.1 安装2.2配置环境变量2.3测试单机hadoop三、Hadoop集群配置3.1配置hadoop-env.sh3.2配置core-site.xml3.3配置yarn-site.xml3.4 编辑slaves和master3.5配置hdfs-site.xml3.6配置mapred-ste.xml3.7分发给从机3.8主机namenode格式化3.
转载
2023-07-12 12:06:25
69阅读
一、简单介绍Hadoop最早诞生于Cutting于1998年左右开发的一个全文文本搜索引擎 Lucene，这个搜索引擎在2001年成为Apache基金会的一个子项目，也是 ElasticSearch等重要搜索引擎的底层基础。二、Linux环境搭建首先准备三台Linux服务器，预装CentOS7。三台服务器之间需要网络互通。本地测试环境的IP地址分别为：192.168.2.128，192.168.2
转载
2023-08-03 21:05:14
155阅读
常见的组件最大QPS，mysql单机1000QPS，Redis单机10万QPS。订单服务：100万日活，十几qps，服务器3台。秒杀服务：峰值20+万qps，平常5~6万qps。商品20，货量最大值200，限流5千qps，15台机器,。
原创
2023-05-09 07:42:34
130阅读
一、Hadoop集群参数配置在hadoop集群中，需要配置的文件主要包括四个，分别是core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml，这四个文件分别是对不同组件的配置参数，具体如下：core-site.xml，集群全局参数。用于定义系统级别的参数，如HDFS、URL、Hadoop的临时目录等。hdfs-site.xml，
转载
2023-05-26 10:23:27
104阅读
需要JDK、SSH对于伪分布式，Hadoop会采取与集群相同的处理方式：按次序启动文件conf/slaves中记载的主机上的进程，只不过在伪分布式中Slave为localhost（自身）。 Hadoop从三个角度将主机划分为两种角色：最基本Master和SlaveHDFS角度：NameNode和DataNodeMapReduce角度：JobTracker和TaskTracker 
1. 实验准备 1.1 目的： 在虚拟机环境下，让同学们学会从零开始配置Hadoop-2.2集群，并尝试在真实环境下搭建集群。 1.2 主要内容： 物理机器总共4台，想配置基于物理机的Hadoop集群中包括4个节点： 1 个 Master， 3个 Salve ，节点之间局
转载
2023-07-20 17:27:38
69阅读
Ceph机器配置：构建高性能的分布式存储系统
随着数据量的不断增加，对于存储系统的需求也在不断提高。为了应对这一挑战，越来越多的企业和组织转向分布式存储解决方案，其中一种备受关注的技术就是Ceph。Ceph是一个开源的分布式存储系统，以其高性能、高可靠性和可扩展性而备受业界赞誉。在使用Ceph构建分布式存储系统时，合理的机器配置是至关重要的一步。
Ceph是基于对象存储的，所以在配置Ceph机
首先下载ElasticSearch，下载地址：https://www.elastic.co/downloads/elasticsearchJDK版本要1.8以上，低版本的JDK，ES无法支持需要下载的ELK组件如下所示：安装配置Elasticsearchtar -zxvf elasticsearch-5.2.2.tar.gz -C /soft/services
cd /soft/services/
配置图(Deployment)：显示运行软件系统的物理硬件，以及如何将软件配置到硬件上。显示运行时处理元素，以及相关软
原创
2023-04-11 01:06:31
50阅读
步骤1：将安装包hadoop-2.2.0.tar.gz存放到某一目录下，并解压；
步骤2：修改解压后的目录中的文件夹etc/hadoop下的xml配置文件（如果文件不存在，则自己创建），包括hadoop-env.sh、mapred-site.xml、core-site.xml、hdfs-site.xml和yarn-site.xml；
步骤3：格式化
硬件准备环境：硬盘： 16块 SAS 15K RAID5 带512MCacheCPU： AMD 4核两颗内存： 16G软件环境：操作系统： RedHat AS4.6 2.6.9硬件准备环境：硬盘： 16块 SAS 15K RAID5 带512MCacheCPU： AMD 4核两颗内存： 16G软件环境：操作系统： RedHat AS4.6 2.6.9-67.ELsmpMysql: 5.0下面分别根
● Based on the recommendations mentioned above, Let's assign 5 core per executors => --executor-cores = 5 (for good HDFS throughput) ● Leave 1 core pe
转载
2018-07-09 23:37:00
116阅读
2评论
# Java获取机器配置
在开发Java应用程序时，有时候需要获取机器的配置信息，比如CPU核心数、内存大小等，以便优化程序性能或做出一些特定的处理。本文将介绍如何使用Java代码获取机器的配置信息。
## 获取CPU核心数
要获取机器的CPU核心数，可以使用Java的Runtime类的availableProcessors()方法。这个方法返回当前机器的CPU核心数。
```java
i
猎豹金融越南机器配置
原创
2023-07-06 15:04:29
78阅读
高并发MySQL机器配置
随着互联网的发展，高并发访问成为了许多网站和系统所面临的一个重要问题。而MySQL作为目前最流行的关系型数据库之一，对于高并发访问的支持显得尤为重要。本文将介绍如何配置高并发MySQL机器，并提供一些代码示例来帮助读者更好地理解。
## 1. 数据库服务器硬件配置
在配置高并发MySQL机器之前，首先需要考虑数据库服务器的硬件配置。以下是一些常见的配置建议：
-
Typora配置图床typora是一个很好的markdown编辑器，但是平时使用图片的时候，图片是保存在本地上的，如果
原创
2022-07-29 10:37:13
115阅读
