YL运维开发工程师，负责游戏系统配置管理平台的设计和开发，目前专注于新 CMDB 系统的开发，平时也关注运维自动化，DevOps，Python 开发等技术。背景CMDB 为了使用事务来存储机器的数据，启用了 mongodb4.0 版本，在平均 1.5k qps 并发写的情况下(这只是机器层面的数据，机器的里面有很多子资源的更新，每个子资源的更新会对应一个 mongodb 操作)，mongodb 一
转载
2023-08-01 12:00:13
187阅读
大数据量高并发的数据库优化(二) - [技术研究]
2009年03月17日
解决方案：建立中间表，通过DTS调度每天共步数据。
中间表设计原则
记录数同原表一样，减少多表连接，保存运算好的值，如果记录修改，根据修改日志，重新计算中间值
增量同步数据(DTS)
直接从每天的数据库更改日志读取记录，更新中间表，根据服务器空间程度合理调度DTS，减少
# MongoDB 数据写入
在MongoDB中，数据写入是非常重要的一个操作，也是使用MongoDB的基本功能之一。在这篇文章中，我们将介绍如何向MongoDB数据库中写入数据，并提供一些代码示例来帮助您更好地理解这个过程。
## MongoDB 数据写入流程
为了更好地理解MongoDB数据写入的流程，我们可以使用流程图来展示整个过程。下面是一个简单的MongoDB数据写入流程图：
`
原创
2024-07-04 05:00:03
108阅读
# MongoDB写入数据
MongoDB是一个开源的文档型数据库，它以灵活的数据模型和强大的查询能力而受到广泛关注。本文将介绍如何使用MongoDB写入数据，并通过代码示例来演示。
## 什么是MongoDB
MongoDB是一个面向文档的数据库，它采用了BSON（Binary JSON）格式来存储数据。BSON是一种二进制表示形式，类似于JSON，但比JSON更高效。MongoDB支持动
原创
2023-10-14 14:38:25
134阅读
大数据技术之HBase第1章 HBase简介1.1 什么是HBaseHBase的原型是Google的BigTable论文，受到了该论文思想的启发，目前作为Hadoop的子项目来开发维护，用于支持结构化的数据存储。 官方网站：http://hbase.apache.org – 2006年Google发表BigTable白皮书 – 2006年开始开发HBase – 2008年北京成功开奥运会，程序员默
转载
2023-12-06 14:15:15
67阅读
本篇主要介绍如何在CentOS7上把.net core控制台app部署为一个后台长期运行的服务。1. 在CentOS7上安装dotnet 2.0 SDK 参考官网操作步骤：https://docs.microsoft.com/en-us/dotnet/core/linux-prerequisites?tabs=netcore2x安装完查看.net core版本。执行dotnet --in
转载
2023-09-19 16:37:52
1767阅读
# 大数据写入Redis
## 什么是大数据？
在当今信息时代，数据量呈指数级增长。大数据是指规模巨大、类型繁多的数据集合，这些数据无法用传统的数据处理工具进行处理。大数据通常具有3V特点：Volume（大量）、Velocity（高速）、Variety（多样）。
## 为什么要将大数据写入Redis？
Redis是一种高性能的内存数据库，能够快速读写数据，适合处理高并发的场景。将大数据写入Re
原创
2024-05-08 03:35:28
23阅读
# 如何实现mysql大数据写入
## 引言
作为一名经验丰富的开发者，我们经常会遇到需要实现大数据写入到mysql数据库的场景。在这篇文章中，我将教会一位刚入行的小白如何实现“mysql大数据写入”。我们将首先介绍整个流程，并详细说明每一步需要做什么，以及需要使用的代码和其注释。
## 流程概述
下面是实现“mysql大数据写入”的整个流程，我们将通过一系列步骤来完成这个任务。
| 步骤
原创
2024-04-07 04:28:27
24阅读
IDL提供了专门针对HDF5科学数据格式的读写函数库。可以参考IDL帮助的Routines (alphabetical) > Routines: H > HDF5 Routines 这个章节查看函数列表。如果只是简单的读写HDF5文件，可以利用下面三个函数即可：H5_GETDATA 读取数据H
转载
2023-10-17 11:53:12
59阅读
开发中经常遇到批量插入数据的需求，为了提高开发效率大多会使用ORM架构，个别之处 才会手写SQL，我们使用C#.NET Core5.0开发，所以优先选择了微软的EF。 但是EF原生没有批量操作功能，需要自己扩展或使用第三方的扩展，由于使用第三方扩展怕有风险，因此全部自己手写批量插入和更新。 一段时间后数据多
转载
2024-07-04 18:10:09
45阅读
数据库管理主要学习的内容：1、备份和还原MongoDB系统2、使用MongoDB shell执行常见的任务3、使用身份验证控制服务器的访问权限4、监控数据库1）备份MongoDB服务器：需要满足的假设构想：MongoDB服务器运行在目前登录的机器上；硬盘空间足以容纳转储文件，该文件的大小至多与数据库相同；备份文件将保存在个人主目录中。MongoDB的备份工具被称为mongodump。例子
转载
2023-08-21 17:35:13
69阅读
因为MongoDB是一个非关系数据库系统，所以许多关系数据库管理员需要执行的操作，MongoDB并不需要执行。例如，不需要在MongoDB服务器上创建数据库、集合或字段，因为在访问它们时动态创建这些元素。不需要预定义所有元素，例如文档中的字段。管理员和开发者只需要偶尔从数据库中清除未使用的数据元素即可，尤其是在项目的开发阶段，开发者在最后确定解决方案之前可能尝试多种方案。MongoDB也鼓励了这种
转载
2023-06-22 17:16:43
264阅读
概述MongoDB适用场景数据量大写入操作频繁（读写都很频繁）价值较低的数据，对事务性要求不高。什么时候选择MongoDB应用不需要事务及复杂join支持。新应用，需求会变，数据模型无法确定，想快速迭代开发。应用需要2000-3000以上的读写QPS（更高也可以）。应用需要TB甚至PB级别数据存储。应用发展迅速，需要能快速水平扩展。应用要求存储的数据不丢失。应用需要99.999%高可用。应用需要大
转载
2023-08-09 23:42:01
116阅读
# Python与MongoDB的数据写入
