环境配置： hadoop-2.0.0-cdh4.3.0 (4 nodes, 24G mem/node)
hbase-0.94.6-cdh4.3.0 (4 nodes,maxHeapMB=9973/node)
hive-0.10.0-cdh4.3.0 一、查询性能比较： query1:
select count(1) from on_hdfs;
selec
转载
2023-08-03 22:04:39
62阅读
HDFS 相关脚本命令Hadoop Distributed File System (HDFS) 是 Hadoop 的核心组件之一，它是一个分布式文件系统，用于存储大规模数据集。在 Hadoop 集群中，我们可以通过一些命令行工具来管理和操作 HDFS。本文将介绍一些常用的 HDFS 命令行工具及其用法。1. HDFS 客户端Hadoop 提供了 hdfs 命令行工具，它是 HDFS 的默认客户端
转载
2024-07-29 15:19:27
42阅读
1.首先确保hadoop集群能跑mr
vi mapred-site.xml
<!--指定运行mapreduce的环境是yarn -->
<configuration>
<property>
<name>mapreduce.framework.name</name>
&
转载
2024-03-17 00:02:44
42阅读
文章目录HDFS—核心参数(生产调优)1 NameNode 内存生产配置1.1 NameNode 内存计算1.2 Hadoop2.x 系列，配置 NameNode 内存1.3 Hadoop3.x 系列，配置 NameNode 内存1.3.1 相关描述及操作1.3.2 配置hadoop-env.sh2 NameNode 心跳配置2.1 hdfs-site.xml 配置2.2 企业经验3. 开启回收
转载
2024-03-26 16:21:03
83阅读
hbase在写入数据之前会先写hlog，hlog目前是sequencefile格式，采用append的方式往里追加数据。之前团队的同学测试关闭hlog会一定程序上提升写hbase的稳定性。而在我之前的想象中，hlog的写入速度应该是稳定的。于是写了个append程序专门测试hdfs的append...
转载
2013-11-25 12:41:00
205阅读
2评论
在企业中非常关心每天从 Java 后台拉取过来的数据，需要多久能上传到集群？消费者关心多久能从 HDFS 上拉取需要的数据？ 为了搞清楚 HDFS 的读写性能，生产环境上非常需要对集群进行压测。HDFS的读写
转载
2023-08-18 20:19:40
157阅读
HDFS的的读写性能主要受网络(写)和磁盘(读)的影响较大。 100Mbps的单位是bit；10M/s的单位是byte，1byte=8bit，100Mbps/8=12.5M/s。 测试网速：来到 hadoop102 的/opt/software 目录，创建一个[pcz@hadoop2 software]$ python -m SimpleHTTPServer然后浏览器输入hadoop2:8000即
转载
2024-03-18 10:24:39
58阅读
背景前阵子在用Tpcds对hive做性能测试的时候，遇到过报错 Process failed with status code 139问题剖析通过源码查看，找到了最终异常抛出的地方： hive-testbench-hdp3/tpcds-gen/src/main/java/org/notmysock/tpcds/GenTable.java源码github地址for(int i=0; i<cmd
转载
2023-06-27 23:08:05
230阅读
下载：yum -y install gcc gcc-c++ maven
下载地址Github：https://github.com/hortonworks/hive-testbench/
git clone https://github.com/hortonworks/hive-testbench/编译：有两种数据TPC-DS：提供一个公平和诚实的业务和数据模型，99个案例。TPC-H：面向商
转载
2023-07-29 23:53:23
97阅读
1.impala性能测试：
创建指定大小的cache
hdfs cacheadmin -addPool impala_pool -owner impala -limit 20000000000
把表加入cache中
alter table ym_impala_with_cache set cached in 'impala_pool';
转载
2023-12-20 17:05:43
171阅读
测试上传数据到集群和拉取数据的时间。HDFS的读写性能主要受网络和磁盘影响比较大。为了方便测试，将hadoop102、hadoop103、hadoop104虚拟机网络的带宽都设置为100Mbps。100Mbps/8=12.5M/s。1 测试HDFS写性能写测试原理： 向磁盘写测试文件，然后通过MapTask读文件写到HDFS，写的过程中会记录每个Map向HDFS写的总时间和平均速度，然后把
一些测试的描述如下内容最为详细，供你参考：测试对于验证系统的正确性、分析系统的性能来说非常重要，但往往容易被我们所忽视。为了能对系统有更全面的了解、能找到系统的瓶颈所在、能对系统性能做更好的改进，打算先从测试入手，学习Hadoop几种主要的测试手段。本文将分成两部分：第一部分记录如何使用Hadoop自带的测试工具进行测试；第二部分记录Intel开放的Hadoop Benchmark Suit: H
转载
2024-03-18 19:38:04
214阅读
# Hive读写性能测试
Hive 是一个构建在 Hadoop 之上的数据仓库工具，它用于分析存储在 Hadoop HDFS 上的数据。由于 Hive 提供了 SQL 类似的查询语言（HiveQL），操作 Hive 的数据需要妥善测试其读写性能，以便优化查询时间及数据处理效率。本文将讨论 Hive 的读写性能测试，并提供相关的代码示例和图示。
## 1. 为什么进行读写性能测试
读写性能测试
原创
2024-08-26 05:52:18
95阅读
前言目前在主流存储中，使用的比较多的是机械硬盘和固态硬盘（SSD）。机械硬盘具有容量大，价格便宜，容错性好，寿命较长等优点；缺点是读写性能相对固态硬盘有比较大的差距。固态硬盘的优点是读写性能较好，特别是随机读写性能；缺点是价格比较昂贵，容量小，写入寿命有限，一旦损坏数据难以恢复等。因此，有些情况下我们希望结合两者优点，于是SSD缓存技术方案应运而生，SSD缓存的方案最终性能接近SSD的性能，使得我
一．Hive on Spark的定义 Hive on Spark是由Cloudera发起，由Intel、MapR等公司共同参与的开源项目，其目的是把Spark作为Hive的一个计算引擎，将Hive的查询作为Spark的任务提交到Spark集群上进行计算。通过该项目，可以提高Hive查询的性能，同时为已经部署了Hive或者Spark的用户提供了更加灵活的选择，从而进一步提高Hive和Spark的普及
转载
2023-08-04 23:24:57
328阅读
# Hive 查询语句性能测试
作为一名经验丰富的开发者，你经常需要对Hive查询语句的性能进行测试。在本文中，我将向你介绍如何实现Hive查询语句的性能测试，并提供详细的步骤和代码示例。
## 测试流程
下面是整个性能测试的流程，我们将一步一步地进行操作：
步骤 | 操作 | 代码示例
--- | --- | ---
1 | 创建测试表 | `CREATE TABLE test_tabl
原创
2023-10-08 11:37:23
142阅读
分布式文件系统HDFSHDFS架构HDFS工作机制HDFS概念HDFS，它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。 HDFS的设计适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用。HDFS优缺点优点:1）高容错性：数据自动保存多个副本，当一个副本丢失后，可以自动回
转载
2024-03-26 09:08:54
64阅读
文章目录TPC-DS测试概述1. TPC-H2. TPC-DS使用hive-testbench生成hive基准测试数据1.环境准备拉取代码安装gcc安装maven2.执行编译3.生成数据并加载到hive中4.使用Hue验证数据5.生成数据时的一些异常处理Permission denied: user=root, access=WRITEFile does not exist: 3.0.0-cdh6
文章目录前言HDFS扩展性测试的适用场景Dy...
转载
2020-01-12 19:08:00
140阅读
2评论
在做*****这个项目的大半年时间了，由于我写的spark程序需要到Hive表读数据，而开发环境的Hive表里面没有数据，需要自己造， 所以开发和测试环境用到的Hive的测试数据基本上都是我造的。下面是我总结的一些经验刚开始的时候Hive里面有13张标签表，总共1700多个字段，在开发测试环境不需要用完所有的13张表，没必要，我只往三张表里造数据，平时测试的时候也只 测这三张表，太多了容易乱，但是
转载
2023-08-11 22:01:31
120阅读
