通过理论讲解-环境搭建-项目案例实战，让初学者快速掌握hadoop大数据技术栈，包括HDFS、MapReduce、YARN、HBase、Hive等等。专栏介绍Hadoop 是由 Java 语言编写的，在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架，其核心部件是 HDFS 与 MapReduce。 HDFS 为海量的数据提供了存储，而 MapReduce 为海量的数据提供了计算。 可
转载
2024-03-04 11:28:00
15阅读
# 使用Hadoop提升SSD性能的实践指南
## 引言
在大数据领域，Hadoop是一个非常流行的分布式计算框架。然而，随着数据量的激增，传统的Hadoop使用机械硬盘（HDD）存储数据的方式逐渐显得力不从心。因此，将Hadoop与固态硬盘（SSD）结合，可以大幅提升数据处理和存储的性能。本文将逐步指导你实现Hadoop SSD提升的过程。
## 整体流程
以下是实现Hadoop SSD
原创
2024-09-26 06:54:12
36阅读
异构存储简言之，就是从硬件设备上进行优化存储和性能，针对冷数据，采用容量大的、读写性能不高的介质存储，比如普通的磁盘；针对热数据，实时进行查询的，经常用到的就用SSD进行存储。在说Hadoop的异构存储之前我们先来简单了解一下SSD和SATA硬盘各自的优缺点。硬盘对比SSD硬盘：优点：无噪音，体积小，速度快，重量轻，发热小缺点：容量相对小，价格昂贵，数据稳定性不如SATASATA盘：优点：容量大，
转载
2023-07-21 14:44:43
128阅读
没有hdfs，大数据就是空话 ——me（开个玩笑哈哈哈）1、hdfs入门、hdfs介绍HDFS（Hadoop Distributed File System），也叫分布式文件系统。是一个Apache Software Foundation项目，是Apache Hadoop项目的一个子项目。 Hadoop非常适合存储大型数据（比如TB级别和PB级别的数据），其原因就是它使用Hdfs作为数据的存储系统
转载
2023-08-18 19:44:10
102阅读
## Hadoop SSD 的试用
### 引言
Hadoop是一个用于存储和处理大规模数据的开源框架，它通过将数据分布式存储在多个节点上，实现高可靠性和高性能的数据处理。传统的Hadoop集群通常使用机械硬盘（HDD）作为存储介质，但随着固态硬盘（SSD）的性能不断提升和价格不断下降，越来越多的用户开始考虑在Hadoop集群中采用SSD作为存储设备。
### SSD的优势
相比于传统的机械硬
原创
2024-02-23 05:38:40
17阅读
# Hadoop 指定目录 SSD：优化存储性能
在大数据时代，Hadoop 已经成为处理和分析大规模数据集的主流工具。然而，随着数据量的不断增长，存储性能成为了限制 Hadoop 性能的关键因素。为了提高 Hadoop 的存储性能，我们可以将 Hadoop 的数据存储在 SSD（固态硬盘）上，从而实现更快的读写速度。本文将介绍如何在 Hadoop 中指定目录到 SSD，并提供相关的代码示例和流
原创
2024-07-18 09:54:21
68阅读
固态硬盘几乎已经成了标配，很多新组装的电脑，大多更是直接运用单块SSD，对容量要求高的用户则会运用固态+机械双硬盘方案，已经很少有新电脑运用单块机械硬盘了。不少人疑惑“企业级硬盘和固态硬盘区别”，实际是两个性质区分。在现在的服务器中，大多数运用的还是机械企业硬盘，固态盘相对较少。一、固态硬盘是什么固态硬盘(Solid State Drives)，简称固盘，固态硬盘(Solid State Driv
转载
2024-07-05 08:35:10
130阅读
1. hadoop 它是一个分布式计算+分布式文件系统，前者其实就是 MapReduce，后者是 HDFS 。后者可以独立运行，前者可以选择性使用，也可以不使用2. hive 通俗的说是一个数据仓库，仓库中的数据是被hdfs管理的数据文件，它支持类似sql语句的功能，你可以通过该语句完成分布式环境下的计算功能，hive会把语句转换成MapReduce，然后交给hado
转载
2023-07-14 16:15:49
65阅读
教程Hadoop是一个开源的分布式计算和存储框架，由apache基金会开发维护。Hadoop使用Java开发，其核心部分包括hdfs和mapreduce历史Google的三大论文gfs、mapreduce、bigtable。gfs是一个在计算机集群中运行的分布式文件系统，hdfs是其实现版，mapreduce是一个分布式计算方式作用Hadoop在某种程度上将多机组成了一台计算机，hdfs就相当于硬
转载
2023-07-12 15:03:17
94阅读
前言：我有一个西数蓝盘500G固态，系统盘，一年没开机，这个月开机后发现系统很卡，持续读取假死严重。测试没有坏块，网上说的是冷数据掉速问题。工具：HdTuneVictoriaSSDReadSpeedTester（精细到文件，耗时较长）DiskFresh检查固态硬盘是否存在掉速现象：1、进入PE系统或把硬盘挂载为移动硬盘。2、使用HdTune、Victoria或SSDReadSpeedTester测
转载
2023-09-25 23:33:21
86阅读
Ceph是一种开源的分布式存储系统，被广泛用于构建大规模的存储基础设施。随着存储需求的不断增长，用户对于更高性能和更低延迟的需求也在不断提升。因此，使用SSD固态硬盘来优化Ceph存储系统已经成为一种常见的做法。
SSD固态硬盘相比传统的机械硬盘具有更快的读写速度和更低的访问延迟，这使得其在提升存储系统性能方面有着明显的优势。而Ceph作为一种分布式存储系统，对于存储节点之间的通信和数据传输速度
原创
2024-03-21 09:06:47
71阅读
# Hadoop 3 SSD 冷热存储实现指南
在大数据处理的领域，如何高效利用存储资源是一项重大挑战。Hadoop 3 对于冷热数据的管理提供了支持。冷热存储的概念是将经常访问的数据（热数据）存储在较快的存储设备（如 SSD）上，而将不经常访问的数据（冷数据）存储在较慢或容量较大的设备（如 HDD）上。下面，我们将通过几个步骤来实现 Hadoop 3 SSD 的冷热存储。
## 整体流程
硬件技术的发展给存储和数据库软件技术提供了新的机会。近年来SSD开始流行，那么SSD能否给Hadoop/HBase带来性能的提升呢？Facebook数据团队的工程师们做了相关的研究和实验工作。本文是http://hadoopblog.blogspot/2012/05/hadoop-and-solid-state-drives.html （需自备）的翻译并加上了一些自己的思
转载
2024-02-23 11:27:17
13阅读
0. 引言0.1 代码来源代码来源：https://github.com/NVIDIA/DeepLearningExamples/tree/master/PyTorch/Detection/SSD0.2 代码改动NVIDIA复现的代码中有很多前沿的新技术（tricks），比如NVIDIA DALI模块，该模块可以加速数据的读取和预处理。注意，虽然NVIDIA复现了该代码，但相关人员对代码进行了修改
转载
2024-03-03 15:54:53
383阅读
=======================================================================SSD 特性 1、随机读能力非常好，连续读性能一般，但比普通 SAS 磁盘好；
2、不存在磁盘寻道的延迟时间，随机写和连续写的响应延迟差异不大。
3、erase-before-write 特性，造成写入放大，影响写入的性能；
4、写磨损特性，采用 Wear
转载
2023-05-30 21:37:26
287阅读
在DB-Engines Ranking的榜单上，Oracle、MySQL和SQL Server前三的地位仍是不可撼动的。作为一家专注于NVMe SSD设计研发的厂商，Memblaze关注的是NVMe SSD在数据库中的应用及系统优化。近日召开的DTCC2019上，Memblaze产品部朱磊的演讲就围绕着MySQL的Doublewrite原理以及PBlaze5的优化方案展开。成为系统瓶颈的Doubl
转载
2024-01-12 11:41:13
98阅读
Ceph 是一种开源的分布式存储系统，它可以提供高性能、高可用性和可扩展性的存储解决方案。在 Ceph 集群中，一些关键的因素可以显著影响系统的性能和可靠性，其中一个重要的因素是存储设备的选择和配置。
在 Ceph 集群中使用 SSD（固态硬盘）作为存储设备可以带来许多好处。相比于传统的机械硬盘，SSD 具有更快的读写速度、更高的可靠性和更低的能耗。因此，使用 SSD 可以显著提升 Ceph 集
原创
2024-02-27 12:01:57
187阅读
# MySQL使用SSD优化的科普文章
## 引言
随着科技的进步，数据存储的方式不断演变，固态硬盘（SSD）逐渐取代传统的机械硬盘（HDD）成为主流存储介质。SSD的速度极快，减少了读取延时，这对于数据库管理系统（DBMS）尤其重要。本文将探讨如何通过SSD实现MySQL性能优化，并提供相关代码示例和状态图。
## SSD的优势
SSD相较于传统HDD具有以下几个显著优势：
1. **
原创
2024-10-16 06:24:58
180阅读
SSD是YOLO之后又一个引人注目的目标检测结构，它沿用了YOLO中直接回归 bbox和分类概率的方法，同时又参考了Faster R-CNN，大量使用anchor来提升识别准确度。通过把这两种结构相结合，SSD保持了很高的识别速度，还能把mAP提升到较高的水平。一、基本结构与原理原作者给了两种SSD结构，SSD 300和SSD 512，用于不同输入尺寸的图像识别。本文中以SSD 300为例，图1上
转载
2023-10-08 10:10:26
18阅读
什么是SSD？SSD简述前言一. SSD组成二. SSD存储介质存储介质按材料不同可分为三大类：光学存储介质、半导体存储介质和磁性存储介质三. SSD接口形态固态硬盘有SATA 3.0接口、MSATA接口、M.2接口、PCI-E接口、U.2接口五种类型。三. SSD闪存颗粒分类闪存颗粒分为SLC(单层单元)、MLC(多层单元)、TLC(三层单元)、QLC(四层单元)和PLC(五层单元) 前言SS
转载
2023-08-15 10:55:21
128阅读
