NoSQL，全称 Not Only SQL，意为不仅仅是 SQL，泛指非关系型数据库。NoSQL 是基于键值对的，而且不需要经过 SQL 层的解析，数据之间没有耦合性，性能非常高。 非关系型数据库又可细分如下：键值存储数据库：其代表有 Redis、Voldemort 和 Oracle BDB 等。列存储数据库：其代表有 Cassandra、HBase 和 Riak 等。文档型数据库：其代表有 Co
转载
2024-09-10 07:27:15
67阅读
SAP 对法定的会计报表，比如资产负债表，损益表等，有多种实现方案。这里给出一个集成 Excel 的实现方案。实现方案的主要优点是用户的自由度比较大，可以灵活设置，而且基本实现了一次开发，不同项目只需要部署就能使用。1. 资产负债表实现方法说明在 Excel 中，使用 VBA 调用 SAP RFC 方法，导入公司代码下会计科目和科目汇总表 （英文叫 Trial balance, 包括会计科目的期初
# 如何在Docker中设置Prometheus的保存时长
Prometheus是一种流行的开源监控和报警工具，通常与Docker一起使用。设置Prometheus的保存时长（数据保留期）是合理使用存储和管理数据的重要步骤。本文将指导你如何在Docker中完成该设置。
## 流程概述
在进行Prometheus的设置之前，我们需要清楚每个步骤的主要内容。请查看下表以便了解整个流程。
| 步
压测报redis 热点问题热点问题概述产生原因热点问题产生的原因大致有以下两种：用户消费的数据远大于生产的数据（热卖商品、热点新闻、热点评论、明星直播）。在日常工作生活中一些突发的的事件，例如：双十一期间某些热门商品的降价促销，当这其中的某一件商品被数万次点击浏览或者购买时，会形成一个较大的需求量，这种情况下就会造成热点问题。同理，被大量刊发、浏览的热点新闻、热点评论、明星直播等，这些典型的读多写
转载
2024-09-19 15:06:35
39阅读
需求背景用户在使用小O地图EXCEL插件，将EXCEL表格数据在地图上进行可视化展现，或是在地图上绘图。如下图是热力地图。此前，只能通过截图方式，将成果分享他人、应用在PPT汇报稿、打印等需求，然而受限屏幕大小，截取图片存在尺寸小、不清晰、拉伸失真等问题。为此，软件作者对【地图快照】功能进行强化，实现分级截取大图的功能，完美解决了上述问题。解决方案使用【小O地图EXCEL插件】的地图可视化、地图绘
# MongoDB设置保存时间
MongoDB是一种流行的NoSQL数据库管理系统，其灵活性和高性能使其成为许多开发人员的首选。在MongoDB中，我们经常需要设置文档的保存时间，以便自动删除过期的数据。在本文中，我们将介绍如何在MongoDB中设置保存时间，并提供相应的代码示例。
## 如何设置保存时间
在MongoDB中，我们可以使用TTL（Time To Live）索引来设置文档的保存
原创
2024-06-18 03:29:49
118阅读
## Redis内存的数据保存时长
在使用Redis作为缓存或数据库时，我们通常会关注数据在内存中保存的时长。Redis提供了多种数据保存时长的方式，我们可以根据需求选择合适的方式来管理数据的存储时间，以及适时清理过期数据。
### 数据保存时长
在Redis中，数据的保存时长可以通过设置key的过期时间来实现。当一个key设置了过期时间后，在过期时间到达时，Redis会自动将该key删除，
原创
2024-05-06 06:39:49
88阅读
排查过程:登录教育部平台系统,首先登陆gateway查看接口无异常,预计问题出在php接口调后端接口超时,查看后端日志.发现初次排查 : 第一次遇到此问题,网上搜索问题所在是http 或者tcp连接异常断开的缘故. (注意!此处正式坑所在,这个Exception相当宽泛,仅由此排查问题在php调后端接口过于草率.由于gateway调后端接口无问题,所以我认为问题出在php处,调整了php封装好的c
北京时间 2016年9月25日 22:58:30 PM近期线上生产环境mongodb的总是发现读取数据超时的问题，今天下午坐下来细细的研究了一番，大致过程如下：业务背景 线上有一对mongodb主从的服务器，只是简单做了mongodb的主从，master - slave。开始以为做了主从就能确保数据不丢的问题了，确实，数据没有发生丢失的
转载
2024-03-02 10:13:01
282阅读
需求：把mongodb里面存储6个月的数据备份到本地，一天天的来备份，方便对备份管理。然后mongo保留一周的数据（优化查询速度，可以用mongo的ttl来实现，但是我的业务场景不太适合用ttl索引）。然后crontab备份每天的数据，控制备份的数据只在6个月的范围之内。第一步：先把mongo里面6个月的数据一天天的备份出来（人工操作会累死，写个脚本） import os
from dateti
转载
2023-09-06 16:22:50
222阅读
一、下载地址 二、安装下载解压后如图三、单机配置1. 修改 config 下的配置文件打开 conf 目录下 zoo_sample.cfg 将其名字改为 zoo.cfg，对其进行如下修改，如下# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# s
转载
2024-08-14 19:54:03
212阅读
目录一、Scrapy安装1.mac系统2.windows系统二、使用scrapy爬取数据1.新建一个scrapy工程2.在spiders下新建一个爬虫文件3.提取网页数据三、保存数据到mongodb四、再多学一点1.添加请求头2.Robot.txt设置3.爬取多个页面五、作业（这是一个考验）前面我们都是从头开始编写爬虫，发送请求、解析网页、数据存储等每一个功能模块都需要自己实现。这一章我们学习的S
转载
2023-12-20 23:05:05
79阅读
.Net Core之MongoDB存储文件MongoDB提供了GridFS来存储文件，我们这里就讨论采用GridFS存储文件的方案这里主要使用MongoDB.Driver相关库MongoDB的一些基本使用：public class MongoFileRepo
{
private IMongoClient _client;
private IMongoData
转载
2023-06-04 17:15:12
137阅读
# MongoDB 数据保留时长的实现指南
作为一名经验丰富的开发者，我很高兴能分享一些关于如何在MongoDB中设置数据保留时长的知识和经验。对于刚入行的小白来说，这可能是一个全新的概念，但不用担心，我会一步一步地指导你。
## 1. 理解数据保留时长
在MongoDB中，数据保留时长（TTL，Time-To-Live）是一种机制，用于自动删除文档。这在处理过期数据时非常有用，例如日志记录
原创
2024-07-15 11:16:04
80阅读
# MongoDB设置持久化保存：新手指南
MongoDB是一款非常流行的NoSQL数据库，它的灵活性和强大的功能使其在很多应用中得到广泛应用。为了确保你的数据不会因为服务重启而丢失，设置持久化存储至关重要。本篇文章将为你详细介绍如何在MongoDB中配置持久化保存，并通过示例代码逐步引导你完成整个流程。
## 整体流程
在我们开始具体的操作之前，先来看看整个流程的步骤概述：
| 步骤 |
# 设置 MySQL 数据过期时长
在现代应用程序中，数据有效性管理至关重要。某些数据在创建后经过一段时间便会失去其价值或意义，这就需要我们设置数据的过期时长。在 MySQL 中，我们可以根据需要实现数据过期功能。本文将介绍如何在 MySQL 中设置数据的过期时长，并提供代码示例来帮助理解。
## 理解数据过期
数据过期是指在某个时间点后，数据被认为是无效的。 在 MySQL 中，虽然没有直
第一章： 体系结构和存储引擎mysql --help|grep my.cnf存储引擎是基于数据库的，而不是表innodb ： 在线事务处理 oltp，定义没有显示主键时，rowid后台生成作为主键查看支持的存储引擎：show engines\G;复制表： create table xixi_bak engine=myisam as select * f
使用Python脚本对MongoDB数据库内插入数据1、使用python创建项目MongoDB(名字随意)，如下图： 2、在项目下创建DB.conf文件，把可配置的项写入到文件内，如下图： 数据库IP、数据库端口、数据库名字、集合名字（相当于MySQL的表名）、插入的数据、插入数据的条数及脚本共运行时间 3、创建mongoDB.py文件，如下图：首先需要一
转载
2024-09-15 14:17:05
64阅读
DolphinDB和MongoDB都是为大数据而生的数据库。但是两者有这较大的区别。前者是列式存储的多模型数据库，主要用于结构化时序数据的高速存储、查询和分析。后者是文档型的NoSQL数据库，可用于处理非结构化和结构化的数据，可以根据键值快速查找或写入一个文档。MongoDB有着自己最合适的应用场景。但是市场上缺少优秀的大数据产品，不少用户试图使用MongoDB来存储和查询物联网和金融领域的结构化
转载
2024-09-14 23:05:50
27阅读
多线程爬取二手房网页并将数据保存到mongodb的代码： import pymongo
import threading
import time
from lxml import etree
import requests
from queue import Queue
index_url='https://m.lianjia.com/gz/ershoufang/pg{}/'
detail_
转载
2023-08-23 20:27:18
37阅读
