一.hdfs读写流程 读: 步骤一. HDFS的client客户端调用分布式文件系统对象的open()方法,然后通过RPC(远程过程调用)方式调用NameNode的open(),本质就是获取DataNode的block locations信息(与客户端远近做了排序)，并返回到客户端。 步骤二.HDFS客户端Client调用open()方法的同时，会生成输入流对象FSDataInputStre
转载
2023-07-03 16:58:26
188阅读
下面是对hadoop的一些基本测试示例Hadoop自带测试类简单使用这个测试类名叫做 hadoop-mapreduce-client-jobclient.jar，位置在 hadoop/share/hadoop/mapreduce/ 目录下不带任何参数可以获取这个jar的帮助信息$ yarn jar hadoop-mapreduce-client-jobclient-2.8.5.jar1. Test
转载
2023-07-03 15:50:21
279阅读
简介本文将介绍可以优化Hadoop性能的HDFS设置。注意，本文重点在提高HDFS性能，但是修改的部分设置有可能影响系统稳定性。请在了解清楚每个设置的作用后再修改。使用推荐的加载选项经测试，如下加载选项，可以优化Hadoop性能，推荐应用到所有磁盘。设置完毕(如修改/etc/fstab)后，不要忘了重新加载对应文件系统或者重启系统使修改生效。 使用如下加载设置：
ext4 —> "ino
一、MapReduce 跑的慢的原因
程序效率的瓶颈在于两点：）计算机性能、内存、磁盘健康、网络）I/O 操作优化 （1）数据倾斜 （2）map和reduce数设置不合理 （3）map运行时间太长，导致reduce等待过久 （4）小文件过多 （5）大量的不可分块的超大文件 （6）spill次数过多 （7）merge次数过多等。
转载
2023-07-03 16:04:06
138阅读
1.纠删码HDFS默认情况下，一个文件存在多个副本，这样提高了数据的可靠性，但是也占用了更多的存储空间。所以，在Hadoop3.x中引入了纠删码，采用计算的方式，牺牲一部分算力，节约大量的存储空间。* 纠删码相关操作命令使用命令 hdfs ec 查看纠删码相关的操作命令[admin@hadoop102 ~]$ hdfs ec
Usage: bin/hdfs ec [COMMAND]
转载
2023-07-12 14:54:48
299阅读
# MongoDB写入性能优化
## 引言
本文将介绍如何优化MongoDB的写入性能。针对刚入行的开发者，我们将详细介绍整个优化过程，并提供相应的代码示例和注释。
## 流程
下面是MongoDB写入性能优化的整个流程：
```mermaid
flowchart TD
A[分析需求] --> B[选择合适的集合数据结构]
B --> C[选定合适的索引]
C -
一、redis单线程为什么性能好1. 解释1）完全基于内存，绝大部分请求是纯粹的内存操作，非常快速。数据存在内存中，类似于HashMap，HashMap的优势就是查找和操作的时间复杂度都是O(1)
2）数据结构简单，对数据操作也简单，Redis中的数据结构是专门进行设计的
3）采用单线程，避免了不必要的上下文切换和竞争条件，也不存在多进程或者多线程导致的切换而消耗 CPU，不用去考虑各种锁的问题，
转载
2023-07-07 10:44:55
151阅读
innodb_buffer_pool_size如果用Innodb，那么这是一个重要变量。相对于 MyISAM来说，Innodb对于buffer size更敏感。MySIAM可能对于大数据量使用默认的key_buffer_size也还好，但Innodb在大数据量时用默认值就感觉在爬了。 Innodb的缓冲池会缓存数据和索引，所以不需要给系统的缓存留空间，如果只用Innodb，可以把这个值设为内存的7
在一些网络服务的系统中，Redis 的性能，可能是比 MySQL 等硬盘数据库的性能更重要的课题。比如微博，把热点微博[1]，最新的用户关系[2]，都存储在 Redis 中，大量的查询击中 Redis，而不走 MySQL。那么，针对 Redis 服务，我们能做哪些性能优化呢？或者说，应该避免哪些性能浪费呢？Redis 性能的基本面在讨论优化之前，我们需要知道，Redis 服务本身就有一些特性，比如
一 elasticsearch 写入速度优化提升写入速度 1. 加大tranlog flush间隔#降低写阻塞，默认每个请求都flush
index.translog.durability: request
#这是影响 es 写入速度的最大因素.但是只有这样,写操作才有可能是可靠的,原因参考写入流程
#如果系统可以接受一定几率的数据丢失,
ES写入性能优化
原创
2020-10-21 15:28:17
6443阅读
MongoDB 是目前炙手可热的 NoSQL 文档型数据库，它提供的一些特性很棒：如自动 failover 机制，自动 sharding，无模式 schemaless，大部分情况下性能也很棒。但是薄荷在深入使用 MongoDB 过程中，遇到了不少问题，下面总结几个我们遇到的坑。特别申明：我们目前用的 MongoDB 版本是 2.4.10，曾经升级到 MongoDB 2.6.0 版本，问题依然存在
概述本文沉淀Elasticsearch性能优化方式，包含写入、搜索优化。
推荐结合《Elasticsearch必备原理理解》一起食用~一、写入速度优化在Elasticsearch的默认设置下，是综合考虑数据可靠性、搜索实时性、写入速度等因素的。当离开默认设置、追求极致的写入速度时，很多是以牺牲可靠性和搜索实时性为代价的。有时候，业务上对数据可靠性和搜索实时性要求并不高，反而对写入速度要求很高，此时
注：演示纠删码和异构存储需要一共 5 台虚拟机。提前准备 5 台服务器的集群。纠删码纠删码原理HDFS 默认情况下，一个文件有 3 个副本，这样提高了数据的可靠性，但也带来了 2 倍的冗余开销。Hadoop3.x 引入了纠删码，采用计算的方式，可以节省约 50％左右的存储空间。1 ）纠删码操作相关的命令hdfs ec 2 ）查看当前支持的纠删码策略hdfs ec -listPolicie
物联网应用常常需要收集大量的数据，用以支持智能控制、业务分析和设备监控等功能。然而，应用逻辑的更时序数据库（Time Series Database，...
最近一段时间看了许多Hadoop性能优化相关的资料，于是花了点时间整理了一下，希望给正在苦于Hadoop集群性能问题的博友们一点建议吧。1、Hadoop在存储有输入数据的节点上运行map任务，可以获得最佳性能，称...
转载
2020-01-12 19:09:00
89阅读
2评论
最近一段时间看了许多Hadoop性能优化相关的资料，于是花了点时间整理了一下，希望给正在苦于Hadoop集群性能问题的博友们一点建议吧。1、Hadoop在存储有输入数据的节点上运行map任务，可以获得最佳性能，称...
转载
2020-01-12 19:09:00
68阅读
2评论
最近一段时间看了许多Hadoop性能优化相关的资料，于是花了点时间整理了一下，希望给正在苦于Hadoop集群性能问题的博友们一点建议吧。1、Hadoop在存储有输入数据的节点上运行map任务，可以获得最佳性能，称...
转载
2020-01-12 19:09:00
327阅读
2评论
1、概念
原创
2021-07-22 13:50:18
226阅读
物联网应用常常需要收集大量的数据，用以支持智能控制、业务分析和设备监控等功能。然而，应用逻辑的更新或硬件的调整可能会导致数据采集项频繁变化，这是时序数据库（Time Series Database，TSDB）面临的一大挑战。
为了适应这种动态变化，TDengine 提供了一种无需预先定义表结构的 Schemaless 写入模式。这种模式允许开发者直接通过写入接口送入数据，系统会自动建立对应的数据存
