sharding设计须考虑的几个因素Sharding Key的选择 在片键的选择上，最好是能够在字段中选择混合型的片键，大范围的递增健、和随机分布的健组合，如按月份递增、按用户名随机。 递增的sharding key &nbs
转载
2024-06-21 13:43:16
130阅读
# 使用Python的to_csv方法进行分块写入
在数据分析和数据科学的过程中，经常需要将数据保存为CSV（Comma-Separated Values）格式。Pandas库是Python中处理数据的强大工具，其中的`to_csv`方法广泛用于将DataFrame写入CSV文件。但是，当数据量很大时，一次性写入可能会导致内存溢出或者运行缓慢。这时，可以利用`chunksize`参数进行分块写入
1 chunkers=pd.read_csv('dd.csv',chunksize=10000)
2
3 tot=pd.Series([])
4
5 for piece in chunkers:
6
7 tot=tot.add(piece['dfcol'].value_counts(),fill_value=0)#迭代计数
8
9 tot=tot.order(ascending=Fal
转载
2023-06-06 11:13:05
63阅读
一、协程介绍协程：是单线程下的并发，又称微线程，纤程。英文名Coroutine。一句话说明什么是协程：协程是一种用户态的轻量级线程，即协程是由用户程序自己控制调度的。需要强调的是：Python的线程属于内核级别的，即由操作系统控制调度(如单线程遇到IO或执行时间过长就会被迫交出CPU执行权限，切换其他线程运行)单线程内开启协程，一旦遇到IO，就会从应用程序级别(而非操作系统)控制切换，从此来提升效
转载
2023-07-10 13:36:03
216阅读
为何使用游标：使用游标(cursor)的一个主要的原因就是把集合操作转换成单个记录处理方式。用 SQL 语言从数据库中检索数据后，结果放在内存的一块区域中，且结果往往是一个含有多个记录的集合。游标机制允许用户在 SQL server 内逐行地访问这些记录，按照用户自己的意愿来显示和处理这些记录。使用游标的步骤：（1）说明游标 用DECLARE语句为一条SELECT语句定义游标：EXEC SQL D
目录1、上传文件 2、验证码 一、上传文件首先了解一下 request.FILES ：字典 request.FILES 中的每一个条目都是一个UploadFile对象。UploadFile对象有如下方法：1、UploadFile.read():从文件中读取全部上传数据。当上传文件过大时，可能会耗尽内存，慎用。2、UploadFile.multiple_chu
转载
2023-10-16 17:47:34
327阅读
Python常用函数/方法记录一、 Python的random模块：导入模块：import random 1. random()方法：如上如可知该函数返回一个【0,1）(左闭右开)的一个随机的浮点数。若要控制范围为【min，max)可采用 min+(max-min)*random.random()如下所示，返回20~30之间的随机浮点数： 2. choice
转载
2024-06-12 21:15:54
39阅读
Spring 在哪些情况下会出现循环依赖错误？哪些情况下能自身解决循环依赖，又是如何解决的？本文将介绍笔者通过本地调试 Spring 源码来观察循环依赖的过程。1. 注解属性注入首先本地准备好一份 Spring 源码，笔者是从 Github 上 Clone 下来的一份，然后用 IDEA 导入，再创建一个 module 用于存放调试的代码。 调试模块目录
本次调试有三个类，A、B 通过注
本系列是对Python for Data Analysis第三版的整理，个人目的仅是进一步熟悉Python以及学习NumPy、pandas等库。 忽略了原书的大部分API介绍，仅保留了部分基础API。 作者提供了在线电子版https://wesmckinney.com/book，以及相关代码https://
前言SpringBoot是常用开发框架，而MongoDB也是最近越来越火的非关系型数据库，这里使用SpringBoot+MongoDB实现一个小案例，当然MongoDB实际做缓存的可能不多，但是这里仅仅为了一个小demo简单的学习使用，入门上手为目的，更多的复杂查询还需关注MongoDB官网。创建MongoDB数据库和项目创建MongoDB数据库打开Studio 3T数据库管理工具，连接本地Mon
转载
2023-08-03 16:46:51
283阅读
mongodb的基本概念有集合collection(表)、文档document(行)、数据字段/域field、索引index、mongodb不支持表连接、而且mongodb主键primary key会自动将_id设置为主键。接下来就讲解一下命令：1、mongo 可以直接进入mongodb shell操作界面2、show dbs 查看mongodb的数据库，db是mongodb默认的数据库，存储在d
转载
2023-07-11 11:15:51
147阅读
前言一般生产环境下，我们总是会遇到副本集迁移节点到新机器上的问题，或者扩容出一个新secondary节点的需求，所以这里把我的笔记放在这里供参考，如果有不妥之处请指出，谢谢；1.添加Secondary节点有时候需要在已有的Replica set架构中添加节点注：Replica Set有最大选举节点数限制：7个，超过7个如果还想再添加则只能作为non-voting member1.1 创建文件目录如
转载
2023-09-26 10:36:00
109阅读
####upsert## upsert是一个选项，它是update的第三个参数，并不是一个方法。它是一种特殊的更新，要是没有文档符合匹配，那么它就会根据条件和更新文档为基础，创建新的文档，如有匹配，则正常更新。咱们之前见到的所有update操作，都是建立在有文档的基础之上的。upsert非常方便，不必预制集合，同一套代码既可以创建又可以更新。超市需要修改商品的价格，比如将苹果的价格上调0.5元，但
转载
2024-02-02 08:37:15
212阅读
一、权限介绍
1.MongoDB安装时不添加任何参数,默认是没有权限验证的,登录的用户可以对数据库任意操作而且可以远程访问数据库，需以–auth参数启动。 2.在刚安装完毕的时候MongoDB都默认有一个admin数据库,此时admin数据库是空的,没有记录权限相关的信息。当admin.system.users一个用户都没有时，即使mongod启动时添加了–auth参数,如果没有在admin数据
转载
2024-02-29 11:19:43
85阅读
在本章和下一章里，我们将研究两种文件类型实例：Excel 文件和 PDF，并给出几条一般性说明，在遇到其他文件类型时可以参考。处理 Excel 比上章讲的处理 CSV、JSON、XML 文件要难多了，下面以 UNICEF(联合国儿童基金会) 2014 年的报告为例，来讲解如何处理 Excel 数据。相关文章：一、安装 Python 包要解析 Excel 文件，需要用第三方的包 xlrd。我们用 p
转载
2023-07-14 17:55:54
98阅读
Memory UseWith WiredTiger, MongoDB utilizes both the WiredTiger internal cache and the filesystem cache.Starting in 3.4, the WiredTiger internal cache, by default, will use the larger of either:50% of
转载
2023-08-28 11:03:49
105阅读
利用MongoTemplate类更新mongodb集合中的指定日期字段时，用mongodb可视化工具Robo3t查看所更新的字段，
发现数据库中显示时间当前时间（东8区区时）早了8个小时
插入时间10点，存储为2点2.产生原因：MongoDB默认的是UTC时间（协调世界时间），刚好比当前区时晚了8个小时；3.解决方式：点击Options==>Display Date In...==>将
转载
2023-06-12 23:28:39
948阅读
插入操作操作是Mongodb中添加数据的基本方法，这用主要有两种方法进行插入：insertOne:这个是对集合进行单条数据插入insertMany：这个是对集合进行多条数据进行插入##单条插入
> db.one.insertOne({"name":"Oner"})
{
"acknowledged" : true,
"insertedId" : ObjectId("625130
转载
2022-04-11 20:51:00
117阅读
对于分布式数据库(多节点)，更好的实现数据隔离、以及数据读策略的多样化。1、readPreferencereadPreference 主要控制客户端driver从副本集(Replica Set)读数据的时候如何路由，如下图。这个特性可以方便的配置读写分离、就近去读等策略。各个配置的含义如下：(1)primary：只主(默认模式)。只从primary节点读数据。(2)primaryPreferred
转载
2023-09-26 20:57:07
99阅读
一，Mongodb的开启
1，默认启动：
复制代码 代码示例:
$ ./mongodb
默认数据保存路径：/data/db/
默认端口：27017
修改默认路径：
复制代码 代码示例:
--dbpath
$ ./mongdb --dbpath /mongodb/
把数据存储位置指向另外的目录/mongodb/
修改默认端口：
复制代码 代码示例:
--port
$ ./mongdb --port
转载
2023-08-04 12:32:02
18阅读
