在这一篇博文中，我将分享我对于“MongoDB性能评测”的深度研究与实战经验。MongoDB作为一种面向文档的NoSQL数据库，近年来在大数据存储与处理领域取得了广泛应用。虽然MongoDB提供了强大的功能，但我们如何对其性能进行科学评测却是值得探索的。
### 背景定位
在现代软件开发中，数据的存储与访问效率极为关键。MongoDB以其灵活的文档模型和良好的可扩展性受到青睐。然而，在实际应用
BenchmarkDotNet=v0.10.14, OS=Windows 10.0.17134 Intel Core i7-6700K CPU 4.00GHz (Skylake), 1 CPU, 8 logical and 4 physical cores .NET Core SDK=2.1.201
转载
2021-07-24 20:37:42
286阅读
hadoop的优缺点： 一、优点 （一）高可靠性。 元数据记录节点与数据块信息 （二）高扩展性。 存储与计算节点可以动态增添；部分框架可以按需替换 （三）高效性。 移动计算而非数据，适用于批处理 （四）高容错性。 数据自动备份，副本丢失后自动恢复 （五）可以构建在廉价机器上；适合大规模数据存储与计算 &
转载
2023-09-19 01:48:12
49阅读
转载自：GPU性能评测指标转载自：http://linuxperformance.top/计算性能评估GPU纯计算性能，主要测试GPU的FP32/FP16和INT8。测试结果可对比官方SPEC发布的值。GEMM为了计算得到GPU实际的浮点计算能力，可以使用GEMM（矩阵乘）的函数来测试计算性能。GEMM根据不同的实现方法其效率存在较大的差异，可
转载
2021-08-17 11:22:26
3620阅读
什么是Nginx? Nginx是一款自由的、开源的、高性能的HTTP服务器和反向代理服务器；Nginx可以作为一个HTTP服务器进行网站的发布处理，在国内，使用nginx网站用户有：金山爱词霸、新浪、淘宝俄罗斯的工程师Igor Sysoev，他在为Rambler Media工作期间，使用C语言开发了Nginx。Nginx作为WEB服务器一直为Rambler Media提供出色而又稳定的服务。 后来
转载
2024-03-22 06:01:54
55阅读
1.1 Kafka是什么Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。Kafka最初是由LinkedIn开发，并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。** ** **Kafka是一个分布式消息队列：生产者、消费者的功能。**它提
Apache Hive 是一个 Hadoop 之上构建起来的数据仓库，用于数据的分析、汇总以及查询。Hive 提供了一种类 SQL 的接口来查询被存储在各种数据源和文件系统中的数据。 使用 Tez Engine Apache Tez Engine 是一种用来构建高性能批处理与交互式数据处理的可扩展框架。在 Hadoop 中它借助 YARN 实现协作。Tez 通过提高处理速度来对 MapReduc
转载
2023-08-15 18:40:41
70阅读
一、目的：使用TestDFSIO测试hadoop-2.7.7集群性能。二、环境：2台虚拟机，CentOS Linux release 7.5.1804 (Core)，内存3G，硬盘45G。192.168.10.156 hmaster156192.168.10.162 hslave162三、测试过程：3.1 测试读写性能在任意节点（hmaster156、hslave162）的/usr/local/h
转载
2023-07-05 10:46:51
185阅读
下面是对hadoop的一些基本测试示例Hadoop自带测试类简单使用这个测试类名叫做 hadoop-mapreduce-client-jobclient.jar，位置在 hadoop/share/hadoop/mapreduce/ 目录下不带任何参数可以获取这个jar的帮助信息$ yarn jar hadoop-mapreduce-client-jobclient-2.8.5.jar1. Test
转载
2023-07-03 15:50:21
332阅读
Hadoop 是一个能对大量数据进行分布式处理的软件架构。可靠：假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。 高效：以并行的方式工作，通过并行处理加快处理速度。可伸缩：可以处理PB级数据。主要特点： 扩容能力（Scalable），可靠的存储和处理千兆字节（PB）数据。 &
转载
2023-09-01 08:43:38
52阅读
来自于某本大牛英文专著。翻译稿。 讲解在Hadoop中的性能调优。介绍MapReduce性能的影响因子，如何诊断Map的性能瓶颈。
6.2 诊断性能瓶颈有的时候作业的执行时间会长得惊人。想靠猜也是很难猜对问题在哪。这一章中将介绍如何界定问题，找到根源。涉及的工具中有的是Hadoop自带的，有的是本书提供的。系统监控和Hadoop任务在Hadoo
转载
2023-09-15 14:57:03
84阅读
测试结论第一组数据作表格作图： 第二组数据作表格作图： 根据以上图分析得出以下结论：1、 本地存储的读写速率基本保持23M左右，说明本地存储比较稳定。2、 HDFS存储两个数据节点的读写速率性能比较好，当文件大小为1G时与本地存储性能接近，说明具备高可用性，测试过程中停掉一个节点，正常读写文件，说明也具备高稳定性。3、 HDFS存储两个数据节点的读写速率比HDFS存储单个数据节
转载
2023-07-31 14:27:29
199阅读
一、MapReduce 跑的慢的原因
程序效率的瓶颈在于两点：）计算机性能、内存、磁盘健康、网络）I/O 操作优化 （1）数据倾斜 （2）map和reduce数设置不合理 （3）map运行时间太长，导致reduce等待过久 （4）小文件过多 （5）大量的不可分块的超大文件 （6）spill次数过多 （7）merge次数过多等。
转载
2023-07-03 16:04:06
190阅读
对比使用map和二维指针数组的性能
原创
2012-05-14 21:39:31
1799阅读
数据建模简介(https://docs.mongodb.org/manual/core/data-modeling-introduction/) 一些概念，一个mongod服务可以有建立多个数据库，每个数据库可以有多张表，这里的表名叫collection，每个collection可以存放多个文档（document），这个文档就是一行记录，每个文档都以BSON（binary json）的形式存放于硬
转载
2023-11-07 08:20:55
73阅读
理解性能 etcd 提供稳定的，持续的高性能。两个定义性能的因素：延迟(latency)和吞吐量(throughput)。延迟是完成操作的时间。吞吐量是在某个时间期间之内完成操作的总数量。当 etcd 接收并发客户端请求时，通常平均延迟随着总体吞吐量增加而增加。在通常的云环境，比如 Google Compute Engine (GCE) 标准的&nbs
原创
2018-09-27 22:26:54
10000+阅读
2评论
由于编程思想与数据库的设计模式不同，生出了一些ORM框架。
核心都是将关系型数据库和数据转成对象型。当前流行的方案有Hibernate与myBatis。
两者各有优劣。竞争激烈，其中一个比较重要的考虑的地方就是性能。
转载
2021-07-30 11:24:11
98阅读
一、测试目的主要是测试hadoop集群分布式计算的速率跟数据大小和计算节点数量的关系。二、环境 硬件：浪潮NF5220。系统：CentOS 6.1Master节点在母机CentOS上，分配4CPU，13G内存。其余三个slave节点在母机的KVM虚拟机上，系统一样是CentOS6.1。硬件配置：内存1G，4 CPU，每个100G容量大小的硬盘。三、步骤及测试结果首先将原始数据大小为260
转载
2023-07-29 20:08:57
116阅读
项目经验之基准测试在企业中非常关心每天从Java后台拉取过来的数据，需要多久能上传到集群？消费者关心多久能从HDFS上拉取需要的数据？为了搞清楚HDFS的读写性能，生产环境上非常需要对集群进行压测。 HDFS的读写性能主要受网络和磁盘影响比较大。为了方便测试，将hadoop102、hadoop103、hadoop104虚拟机网络都设置为100mbps。100Mbps单位是bit；10M/s单位是b
转载
2023-08-15 18:54:08
88阅读
我们常常需要对HDFS或者mapreduce进行一些性能方面的测试，比如测试rpc的性能，测试DFS的IO读写性能，测试DFS的吞吐率性能，测试namenode的benchmark性能，mapreduce的sort性能等等。在hadoop的发行版中，其实已经提供了许多类似的工具，并已经打包成jar，供我们使用。以下是0.20.2中自带的一系列工具列表：DFSCIOTestDistributed i
转载
2023-07-05 10:49:40
0阅读
