hadoop的优缺点： 一、优点 （一）高可靠性。 元数据记录节点与数据块信息 （二）高扩展性。 存储与计算节点可以动态增添；部分框架可以按需替换 （三）高效性。 移动计算而非数据，适用于批处理 （四）高容错性。 数据自动备份，副本丢失后自动恢复 （五）可以构建在廉价机器上；适合大规模数据存储与计算 &
转载
2023-09-19 01:48:12
49阅读
参考一文读懂 Apache SparkResilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing深入浅出理解 Spark：环境部署与工作原理一文弄懂Spark基本架构和原理Spark vs HadoopHadoop 是大数据处理领域的开创者，用于进行分布式、大规模的数据处理
转载
2023-10-01 12:51:09
89阅读
Oracle与Greenplum数据交互 目录前言：... 3一．Greenplum导入导出... 31.1 greenplum数据库表导出数据... 31.2 greenplum数据库表导入数据... 41.3 greenplum数据库异构迁移备份恢复... 4二．Oracle导入导出... 52.1 oracle数据库表导入数据... 52.2 oracle数据库表导出数据... 6
转载
2024-01-23 23:16:59
43阅读
Apache Hive 是一个 Hadoop 之上构建起来的数据仓库，用于数据的分析、汇总以及查询。Hive 提供了一种类 SQL 的接口来查询被存储在各种数据源和文件系统中的数据。 使用 Tez Engine Apache Tez Engine 是一种用来构建高性能批处理与交互式数据处理的可扩展框架。在 Hadoop 中它借助 YARN 实现协作。Tez 通过提高处理速度来对 MapReduc
转载
2023-08-15 18:40:41
70阅读
下面是对hadoop的一些基本测试示例Hadoop自带测试类简单使用这个测试类名叫做 hadoop-mapreduce-client-jobclient.jar，位置在 hadoop/share/hadoop/mapreduce/ 目录下不带任何参数可以获取这个jar的帮助信息$ yarn jar hadoop-mapreduce-client-jobclient-2.8.5.jar1. Test
转载
2023-07-03 15:50:21
332阅读
一、目的：使用TestDFSIO测试hadoop-2.7.7集群性能。二、环境：2台虚拟机，CentOS Linux release 7.5.1804 (Core)，内存3G，硬盘45G。192.168.10.156 hmaster156192.168.10.162 hslave162三、测试过程：3.1 测试读写性能在任意节点（hmaster156、hslave162）的/usr/local/h
转载
2023-07-05 10:46:51
185阅读
OLH是Oracle Loader for Hadoop的缩写，Oracle的大数据连接器（BDC）的一个组件，可将多种数据格式从HDFS上加载到Oracle数据库库中。 本文在同一台服务器上模拟oracle数据库与hadoop集群，实验目标：使用OLH从Hadoop端的HDFS加载数据到Oracle表中。 Oracle端：服务器系统用户安装软件软件安装路径Server1or
转载
2023-05-18 11:10:58
165阅读
性能是衡量软件系统的一个重要部分，可能引起性能低下的原因很多，如CPU/内存/网络资源不足，硬盘读写速度慢，数据库配置不合理，数据库对象规划或存储方式不合理，模块设计对性能考虑不足等。 1 数据库配置 1.1 SGA配置 Oracle服务器从10g开始，提供了自动共享内存管理，可以免去很多在9i上共
转载
2020-03-12 22:49:00
497阅读
2评论
# Hadoop和Spark性能监控工具实现指南
在大数据开发的过程中，性能监控是非常重要的环节。本文将为你介绍如何构建一个Hadoop和Spark的性能监控工具。这个过程会分为几个步骤，我们将用表格对整个流程进行展现，并逐步解释每个步骤所需的代码及其作用。
## 1. Hadoop和Spark性能监控工具实现流程
| 步骤 | 描述 |
|------|------|
| 1 | 环
Sql、Hive和Hbase的联系和区别 Hive是作为一个中间人，与sql和Hbase有着联系，而sql和Hbase没有直接的联系。所以我分两部分来谈清楚三者的联系和区别。 一、 首先来谈谈Hive和SQl的关系 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能。 下图是hive的一个入口。先连接hadoop再连接hive，提供
转载
2023-06-01 17:57:39
71阅读
hadoop性能指标和hadoop的日志
原创
2020-01-05 21:15:54
2037阅读
Hadoop 是一个能对大量数据进行分布式处理的软件架构。可靠：假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。 高效：以并行的方式工作，通过并行处理加快处理速度。可伸缩：可以处理PB级数据。主要特点： 扩容能力（Scalable），可靠的存储和处理千兆字节（PB）数据。 &
转载
2023-09-01 08:43:38
52阅读
来自于某本大牛英文专著。翻译稿。 讲解在Hadoop中的性能调优。介绍MapReduce性能的影响因子，如何诊断Map的性能瓶颈。
6.2 诊断性能瓶颈有的时候作业的执行时间会长得惊人。想靠猜也是很难猜对问题在哪。这一章中将介绍如何界定问题，找到根源。涉及的工具中有的是Hadoop自带的，有的是本书提供的。系统监控和Hadoop任务在Hadoo
转载
2023-09-15 14:57:03
87阅读
测试结论第一组数据作表格作图： 第二组数据作表格作图： 根据以上图分析得出以下结论：1、 本地存储的读写速率基本保持23M左右，说明本地存储比较稳定。2、 HDFS存储两个数据节点的读写速率性能比较好，当文件大小为1G时与本地存储性能接近，说明具备高可用性，测试过程中停掉一个节点，正常读写文件，说明也具备高稳定性。3、 HDFS存储两个数据节点的读写速率比HDFS存储单个数据节
转载
2023-07-31 14:27:29
199阅读
一、MapReduce 跑的慢的原因
程序效率的瓶颈在于两点：）计算机性能、内存、磁盘健康、网络）I/O 操作优化 （1）数据倾斜 （2）map和reduce数设置不合理 （3）map运行时间太长，导致reduce等待过久 （4）小文件过多 （5）大量的不可分块的超大文件 （6）spill次数过多 （7）merge次数过多等。
转载
2023-07-03 16:04:06
190阅读
目录一、Hadoop 小文件优化方法1. Hadoop 小文件弊端2. Hadoop小文件解决方案二、测试 MapReduce 计算性能三、企业开发场景案例1. 需求2. HDFS参数调优3. MapReduce 参数调优4. Yarn 参数调优5. 执行程序 一、Hadoop 小文件优化方法1. Hadoop 小文件弊端HDFS 上每个文件都要在 NameNode 上创建对应的元数据，这个元数
转载
2024-05-16 09:52:52
124阅读
对于局部的，比如某个页面列表sql，我们可以使用Oracle的执行计划进行sql调优，但是对于整个系统来说，你可以知道哪些sql比较耗时？当然可以通过查Oracle的共享池得到，不过Oracle系统本身就提供了几种性能分析报告，比如AWR、ASH、ADDM、AWRSRPT等等报告，本博客介绍一下AWRSRPT性能分析报告1.1 工具选择对于Oracle数据库可以使用sqlplus或者plsql
原创
2022-07-01 21:44:53
234阅读
[TOC] 一、AWE报告生成步骤 对于SQL调优，局部SQL，我们可以直接使用执行计划等直接调优，而对于整个系统来说？这时候就可以用Oracl...
原创
2022-07-01 21:43:50
676阅读
对于局部的，比如某个页面列表sql，我们可以使用Oracle的执行计划进行sql调优，但是对于整个系统来说，你可以知道哪些sql比较耗时？当然可以通过查Oracle的共享池得到，不过Oracle系统本身就提供了几种性能分析报告，比如AWR、ASH、ADDM等等报告，本博客介绍一下ASH性能分析报告ASH即活动会话历史，Active Session History，ASH以V$SESSION为基础，
原创
2022-07-01 21:44:25
2104阅读
对于局部的，比如某个页面列表sql，我们可以使用Oracle的执行计划进行sql调优，但是对于整个系统来说，你可以知道哪些sql比较耗时？当然可以通过查Oracle的共享池得到，不过Oracle系统本身就提供了几种性能分析报告，比如AWR、ASH、ADDM、AWRDD等等报告，本博客介绍一下ADDM性能分析报告ADDM全称是Automatic Database Diagnostic Monitor
原创
2022-07-07 09:29:29
333阅读
