1. hadoop 它是一个分布式计算+分布式文件系统，前者其实就是 MapReduce，后者是 HDFS 。后者可以独立运行，前者可以选择性使用，也可以不使用2. hive 通俗的说是一个数据仓库，仓库中的数据是被hdfs管理的数据文件，它支持类似sql语句的功能，你可以通过该语句完成分布式环境下的计算功能，hive会把语句转换成MapReduce，然后交给hado
转载
2023-07-14 16:15:49
65阅读
# 使用Hadoop提升SSD性能的实践指南
## 引言
在大数据领域，Hadoop是一个非常流行的分布式计算框架。然而，随着数据量的激增，传统的Hadoop使用机械硬盘（HDD）存储数据的方式逐渐显得力不从心。因此，将Hadoop与固态硬盘（SSD）结合，可以大幅提升数据处理和存储的性能。本文将逐步指导你实现Hadoop SSD提升的过程。
## 整体流程
以下是实现Hadoop SSD
原创
2024-09-26 06:54:12
36阅读
没有hdfs，大数据就是空话 ——me（开个玩笑哈哈哈）1、hdfs入门、hdfs介绍HDFS（Hadoop Distributed File System），也叫分布式文件系统。是一个Apache Software Foundation项目，是Apache Hadoop项目的一个子项目。 Hadoop非常适合存储大型数据（比如TB级别和PB级别的数据），其原因就是它使用Hdfs作为数据的存储系统
转载
2023-08-18 19:44:10
102阅读
异构存储简言之，就是从硬件设备上进行优化存储和性能，针对冷数据，采用容量大的、读写性能不高的介质存储，比如普通的磁盘；针对热数据，实时进行查询的，经常用到的就用SSD进行存储。在说Hadoop的异构存储之前我们先来简单了解一下SSD和SATA硬盘各自的优缺点。硬盘对比SSD硬盘：优点：无噪音，体积小，速度快，重量轻，发热小缺点：容量相对小，价格昂贵，数据稳定性不如SATASATA盘：优点：容量大，
转载
2023-07-21 14:44:43
128阅读
# Hadoop 指定目录 SSD：优化存储性能
在大数据时代，Hadoop 已经成为处理和分析大规模数据集的主流工具。然而，随着数据量的不断增长，存储性能成为了限制 Hadoop 性能的关键因素。为了提高 Hadoop 的存储性能，我们可以将 Hadoop 的数据存储在 SSD（固态硬盘）上，从而实现更快的读写速度。本文将介绍如何在 Hadoop 中指定目录到 SSD，并提供相关的代码示例和流
原创
2024-07-18 09:54:21
68阅读
## Hadoop SSD 的试用
### 引言
Hadoop是一个用于存储和处理大规模数据的开源框架，它通过将数据分布式存储在多个节点上，实现高可靠性和高性能的数据处理。传统的Hadoop集群通常使用机械硬盘（HDD）作为存储介质，但随着固态硬盘（SSD）的性能不断提升和价格不断下降，越来越多的用户开始考虑在Hadoop集群中采用SSD作为存储设备。
### SSD的优势
相比于传统的机械硬
原创
2024-02-23 05:38:40
17阅读
固态硬盘几乎已经成了标配，很多新组装的电脑，大多更是直接运用单块SSD，对容量要求高的用户则会运用固态+机械双硬盘方案，已经很少有新电脑运用单块机械硬盘了。不少人疑惑“企业级硬盘和固态硬盘区别”，实际是两个性质区分。在现在的服务器中，大多数运用的还是机械企业硬盘，固态盘相对较少。一、固态硬盘是什么固态硬盘(Solid State Drives)，简称固盘，固态硬盘(Solid State Driv
转载
2024-07-05 08:35:10
130阅读
MySQL 性能优化总论 MySQL 性能优化其实是个很大的课题，在优化上存在着一个调优金字塔的说法： 很明显从图上可以看出，越往上走，难度越来越高，收益却是越来越小的。比如硬件和 OS 调优，需要对硬件和 OS 有着非常深刻的了解，仅仅就磁盘一项来说，一般非 DBA 能想到的调整就是 SSD 盘比用机械硬盘更好，但其实它至少包括了，使用什么样的磁盘阵列（RAID）级别、是否可以分散磁盘 IO、是
转载
2024-01-11 09:27:25
30阅读
教程Hadoop是一个开源的分布式计算和存储框架，由apache基金会开发维护。Hadoop使用Java开发，其核心部分包括hdfs和mapreduce历史Google的三大论文gfs、mapreduce、bigtable。gfs是一个在计算机集群中运行的分布式文件系统，hdfs是其实现版，mapreduce是一个分布式计算方式作用Hadoop在某种程度上将多机组成了一台计算机，hdfs就相当于硬
转载
2023-07-12 15:03:17
94阅读
前言：我有一个西数蓝盘500G固态，系统盘，一年没开机，这个月开机后发现系统很卡，持续读取假死严重。测试没有坏块，网上说的是冷数据掉速问题。工具：HdTuneVictoriaSSDReadSpeedTester（精细到文件，耗时较长）DiskFresh检查固态硬盘是否存在掉速现象：1、进入PE系统或把硬盘挂载为移动硬盘。2、使用HdTune、Victoria或SSDReadSpeedTester测
转载
2023-09-25 23:33:21
86阅读
kafka性能指南1.绪论首先是epoll模型，epoll使其在框架上得以使用mmp和回写高性能。epoll模型具体可以看linuxIO那一个笔记，这里简单讲一下首先是epoll模型，模型要求有一组fd由单独线程监控，然后app去干别的事，当fd有变动时，守护线程通知app来处理。这样可以使app持续工作，提高资源使用率。mmp就是那个单独维护fd链表地址。是在内存中的一块区域，可以在此进行数据修
大数据集成环境准备本次大数据环境准备由于时间有限，环境搭建是简易版本，只搭建了hadoop伪分布式，和hive数仓工具，但是不影响使用。一、软件准备大数据集成的数据仓库的安装我们需要使用到软件有：Ubantu16jdk-8u162-linux-x64.tar.gzhadoop-2.7.1.tar.gzapache-hive-1.2.1-bin.tar.gzmysql-connector-java-
转载
2023-09-26 15:50:42
68阅读
# Hadoop 3 SSD 冷热存储实现指南
在大数据处理的领域，如何高效利用存储资源是一项重大挑战。Hadoop 3 对于冷热数据的管理提供了支持。冷热存储的概念是将经常访问的数据（热数据）存储在较快的存储设备（如 SSD）上，而将不经常访问的数据（冷数据）存储在较慢或容量较大的设备（如 HDD）上。下面，我们将通过几个步骤来实现 Hadoop 3 SSD 的冷热存储。
## 整体流程
硬件技术的发展给存储和数据库软件技术提供了新的机会。近年来SSD开始流行，那么SSD能否给Hadoop/HBase带来性能的提升呢？Facebook数据团队的工程师们做了相关的研究和实验工作。本文是http://hadoopblog.blogspot/2012/05/hadoop-and-solid-state-drives.html （需自备）的翻译并加上了一些自己的思
转载
2024-02-23 11:27:17
13阅读
通过理论讲解-环境搭建-项目案例实战，让初学者快速掌握hadoop大数据技术栈，包括HDFS、MapReduce、YARN、HBase、Hive等等。专栏介绍Hadoop 是由 Java 语言编写的，在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架，其核心部件是 HDFS 与 MapReduce。 HDFS 为海量的数据提供了存储，而 MapReduce 为海量的数据提供了计算。 可
转载
2024-03-04 11:28:00
15阅读
不建议Hadoop On Kubernetes
在大数据领域，Hadoop是一个非常受欢迎的分布式计算框架，而Kubernetes是一个容器编排和管理平台。这两个工具各自有着独特的优势，但将它们结合在一起并不一定是个好主意。
Hadoop是一个为大规模数据处理而设计的框架，它通过将任务分布到集群中的多台机器上，并对数据进行切分和分布式存储来实现高性能的数据处理。然而，Hadoop本身并不适合在
原创
2024-01-10 05:41:38
188阅读
存储设备1、强烈建议使用flash设备，优先使用nvme和pcle接口的
普通sas机械磁盘使用盘片，有转速限制，iops一般150次/秒，i/o访问延迟毫秒级。flash存储电子设备，iops一般4-10万次/秒，i/o延迟微秒级。
flash设备接口类型：sata、pcle、nvme
sata接口的ssd外观和普通机械磁盘一样，如Intel s3700，4k随机写iops3.6万次/秒
转载
2024-06-18 19:26:24
51阅读
当发现作业运行效率不理想时，需要对作业执行进行性能监测，以及对作业本身、集群平台进行优化。优化后的集群可能最大化利用硬件资源，从而提高作业的执行效率。本文记录了在hadoop集群平台搭建以及作业运行过程中一些常用优化手段，在使用中会不断补充，不断翻阅。一、对应用程序进行调优1、避免输入大量小文件。大量的小文件(不足一个block大小)作为输入数据会产生很多的Map任务(默认一个分片对应一个Ma
转载
2023-10-05 07:51:57
157阅读
随着存储技术的快速发展，现如今固态硬盘已经是很多人电脑里不可或缺的一款硬件。纵观存储的发展历史，为了实现更快的传输速度满足不同的需求，硬盘的接口经历了各种进化与革新，也就有了我们熟知的SATA、PCIE 、M.2等等。那这些不同的 SSD 接口之间有什么不同呢？我们又该如何选择呢？今天就和大家聊聊。 SATA是硬盘接口的标准规范，也是目前应用最多的硬盘接口，从最初的SATA1.0 进化
随着 3D 垂直封装技术和 QLC 技术的出现，今年的“618”，SSD 硬盘的价格进一步大跳水，趁着这个机会，我把自己电脑上的仓库盘，从 HDD 换成了 SSD 硬盘。我的个人电脑彻底摆脱了机械硬盘。
随着智能手机的出现，互联网用户在 2008 年之后开始爆发性增长，大家在网上花的时间也越来越多。这也就意味着，隐藏在精美 App 和网页之后的服务端数据请求量，呈数量级的上升。
转载
2024-03-11 22:01:50
63阅读
