总览

  • 我们将讨论如何使用PyMongo库查询MongoDB数据库。
  • 我们将介绍MongoDB中的基本聚合操作。

介绍

随着互联网的全球普及,我们现在正在以前所未有的速度生成数据。因为执行任何类型的分析都需要我们从数据库中收集/查询必要的数据,所以选择正确的工具来查询数据变得至关重要。因此,我们无法想象使用SQL来处理如此大量的数据,因为每个查询的成本都很高。




mongodb compasse 删除表中所有数据 mongodb删除全部数据_字段


使用PyMongo查询MongoDB数据库

这正是MongoDB的用武之地。MongoDB是一个非结构化数据库,以文档形式存储数据。此外,MongoDB能够非常高效地处理大量数据,并且是使用最广泛的NoSQL数据库,因为它提供了丰富的查询语言以及对数据的灵活,快速访问。

在本文中,我们将看到有关如何使用PyMongo查询MongoDB数据库的多个示例。此外,我们将看到如何使用比较运算符和逻辑运算符,正则表达式以及聚合管道的基础知识。

其中我们讨论了非结构化数据库,安装步骤和MongoDB基本操作的挑战。因此,如果您是MongoDB的完整入门者,我建议您先阅读该文章。

目录

  1. 什么是PyMongo?
  2. 安装步骤
  3. 将数据插入数据库
  4. 查询数据库
  1. 根据字段过滤
  2. 根据比较运算符进行过滤
  3. 基于逻辑运算符的过滤
  4. 常用表达
  5. 聚合管道

5.尾注

什么是PyMongo?

PyMongo是一个Python库,使我们能够与MongoDB连接。此外,这是与MongoDB和Python一起使用的最推荐方法。

另外,我们选择Python与MongoDB进行交互,因为它是数据分析忠最常用且功能最强大的语言之一。PyMongo允许我们使用类似于字典的语法来检索数据。

安装步骤

安装PyMongo非常简单明了。在这里,我假设您已经安装了Python 3和MongoDB。以下命令将帮助您安装PyMongo:


mongodb compasse 删除表中所有数据 mongodb删除全部数据_子查询返回多个字段_02


将数据插入数据库

现在让我们进行设置,然后再使用PyMongo查询MongoDB数据库。首先,我们将数据插入数据库。以下步骤将在此方面为您提供帮助-

  1. 导入库并连接到mongo客户端
    在计算机上启动MongoDB服务器。我假设它正在localhost:27017运行文件。
    让我们从导入一些我们将要使用的库开始。默认情况下,MongoDB服务器在本地计算机上的端口27017上运行。然后,我们将使用pymongo库连接到MongoDB客户端。
    然后获取数据库sample_db的数据库实例。万一它不存在,MongoDB将为您创建一个。


mongodb compasse 删除表中所有数据 mongodb删除全部数据_使用查询结果作为插入字段_03


从JSON文件创建集合

我们将使用在多个城市运营的一家送餐公司的数据。此外,他们在这些城市设有各种配送中心,用于向其顾客发送餐单。

  1. weekly_demand
  • id:每个文档的唯一ID
  • :周号
  • center_id配送中心的唯一ID
  • meal_id:膳食的唯一ID
  • checkout_price:最终价格,包括折扣,税金和送货费
  • base_price:餐的基本价格
  • emailer_for_promotion:发送电子邮件以促进进餐
  • homepage_featured首页提供的餐点
  • num_orders:(目标)订单数

2.餐信息:

  • 餐_id:餐的唯一ID
  • 类别:餐食类型(饮料/小吃/汤……)
  • 美食:美食(印度/意大利/…)

然后,我们将在sample_db数据库中创建两个集合:


mongodb compasse 删除表中所有数据 mongodb删除全部数据_数据_04


mongodb compasse 删除表中所有数据 mongodb删除全部数据_子查询返回多个字段_05


3.将数据插入收藏夹

现在,我们拥有的数据为JSON格式。然后,我们将获得集合的实例,读取数据文件,并使用insert_many函数插入数据。


mongodb compasse 删除表中所有数据 mongodb删除全部数据_mongodb删除字段_06


最后,在weekly_demand_collection中有456548个文档,在饭食信息集合中有51个文档。现在,让我们看一下每个集合中的一个文档。

weekly_demand_collection


mongodb compasse 删除表中所有数据 mongodb删除全部数据_数据_07


mongodb compasse 删除表中所有数据 mongodb删除全部数据_字段_08


膳食信息集


mongodb compasse 删除表中所有数据 mongodb删除全部数据_子查询返回多个字段_09


mongodb compasse 删除表中所有数据 mongodb删除全部数据_数据_10


现在,我们的数据已准备就绪。让我们继续查询该数据库。

查询数据库

我们可以使用带有查找功能的PyMonfo查询MongoDB数据库,以获取满足给定条件的所有结果,还可以使用find_one函数,该函数将仅返回满足条件的一个结果。

以下是find和find_one的语法:

your_collection.find({<>},{<>})

您可以使用以下过滤技术查询数据库-

  1. 根据字段过滤
    例如,您有数百个字段,而您只想看到其中的几个。您可以通过将所有必填字段名称都设置为值1来实现此目的。例如,


mongodb compasse 删除表中所有数据 mongodb删除全部数据_mongodb删除字段_11


mongodb compasse 删除表中所有数据 mongodb删除全部数据_子查询返回多个字段_12


另一方面,如果只想从整个文档中丢弃一些字段,则可以将字段名称设置为等于0。因此,将仅排除那些字段。请注意,您不能使用1和0的组合来获取字段。全部要么为一,要么全部为零。


mongodb compasse 删除表中所有数据 mongodb删除全部数据_字段_13



mongodb compasse 删除表中所有数据 mongodb删除全部数据_数据_14


2.过滤条件
现在,在本节中,我们将在第一个大括号中提供一个条件,并在第二个中删除该字段。因此,它将返回center_id等于55且meal_id等于1885的第一个文档,并且还将丢弃字段_id和week。


mongodb compasse 删除表中所有数据 mongodb删除全部数据_数据_15


mongodb compasse 删除表中所有数据 mongodb删除全部数据_mongodb删除字段_16


3.根据比较运算符进行过滤
以下是MongoDB中的9个比较运算符。


mongodb compasse 删除表中所有数据 mongodb删除全部数据_mongodb删除字段_17


以下是使用这些比较运算符的一些示例-

  1. 等于和不等于
    我们将找到center_id等于55且homepage_featured不等于0的所有文档。由于我们将使用find函数,因此它将返回该命令的游标。此外,使用for循环遍历查询结果。


mongodb compasse 删除表中所有数据 mongodb删除全部数据_字段_18


mongodb compasse 删除表中所有数据 mongodb删除全部数据_数据_19


2.在列表中而不在列表中

例如,您需要将一个元素与多个元素匹配。在这种情况下,我们可以使用$ in运算符,而不是多次使用$ eq运算符。我们将尝试找出center_id为24或11的所有文档。


mongodb compasse 删除表中所有数据 mongodb删除全部数据_字段_20


mongodb compasse 删除表中所有数据 mongodb删除全部数据_字段_21


然后,我们找到所有在指定列表中不存在center_id的文档。以下查询将返回center_id不是24也不是11的所有文档。


mongodb compasse 删除表中所有数据 mongodb删除全部数据_mongodb删除字段_22


mongodb compasse 删除表中所有数据 mongodb删除全部数据_mongodb删除字段_23


3.小于和大于
现在,让我们查找center_id为55且checkout_price大于100且小于200的所有文档。为此,请使用以下语法-


mongodb compasse 删除表中所有数据 mongodb删除全部数据_使用查询结果作为插入字段_24


mongodb compasse 删除表中所有数据 mongodb删除全部数据_mongodb删除字段_25


4.基于逻辑运算符的过滤器


mongodb compasse 删除表中所有数据 mongodb删除全部数据_使用查询结果作为插入字段_26


以下示例说明了逻辑运算符的用法-

  1. AND运算符
    下面的查询将返回所有的文件,其中center_id等于11,也是meal_id不等于1778的子查询的运营商将前来名单内。


mongodb compasse 删除表中所有数据 mongodb删除全部数据_字段_27


mongodb compasse 删除表中所有数据 mongodb删除全部数据_使用查询结果作为插入字段_28


2.或运算符
以下查询将返回所有文件,其中center_id等于11或meal_id为1207或2707。此外,or运算符的子查询将位于列表内。


mongodb compasse 删除表中所有数据 mongodb删除全部数据_使用查询结果作为插入字段_29


mongodb compasse 删除表中所有数据 mongodb删除全部数据_使用查询结果作为插入字段_30


5.用正则表达式过滤
当您有文本字段并且要搜索具有特定模式的文档时,正则表达式非常有用。
它可以与运算符$ regex一起使用,并且我们可以为运算符提供值,以使regex模式变为matc。我们将使用饭食信息集合进行此查询,然后将找到Cuisine字段以字符C开头的文档。


mongodb compasse 删除表中所有数据 mongodb删除全部数据_使用查询结果作为插入字段_31


mongodb compasse 删除表中所有数据 mongodb删除全部数据_数据_32


让我们再来看一个正则表达式的例子。我们将查找所有以“ S”开头且以“ ian ” 结尾的类别的所有文档。


mongodb compasse 删除表中所有数据 mongodb删除全部数据_数据_33


mongodb compasse 删除表中所有数据 mongodb删除全部数据_数据_34


6.聚合管道
MongoDB的聚合管道提供了一个框架,可以对数据集执行一系列数据转换。以下是其语法:


mongodb compasse 删除表中所有数据 mongodb删除全部数据_子查询返回多个字段_35


第一个阶段将完整的文档集作为输入,然后每个随后的阶段都将上一个转换的结果集作为下一个阶段的输入并产生输出。
MongoDB汇总中大约有10种转换可用,在本文中我们将看到$ match$ group。我们将在即将发表的MongoDB文章中详细讨论每个转换。
例如,在第一阶段,我们将匹配center_id等于11的文档,在下一阶段,它将计算center_id等于11的文档数量。请注意,我们为$ count运算符分配了等于第二阶段的total_rows是我们想要在输出中使用的字段的名称。


mongodb compasse 删除表中所有数据 mongodb删除全部数据_数据_36


mongodb compasse 删除表中所有数据 mongodb删除全部数据_字段_37


现在,让我们再举一个例子,其中第一阶段与之前相同,即center_id等于11,而在第二阶段中,我们要计算center_id 11的字段num_orders的平均值和center_id 11的唯一的food_ids。


mongodb compasse 删除表中所有数据 mongodb删除全部数据_mongodb删除字段_38


mongodb compasse 删除表中所有数据 mongodb删除全部数据_mongodb删除字段_39


尾注

如今生成的数据量之大令人难以置信,因此有必要找到更好的替代方法来查询数据。总而言之,在本文中,我们学习了如何使用PyMongo查询MongoDB数据库。此外,我们了解了如何根据所需情况应用各种过滤器。

我鼓励您自己尝试,并在评论部分分享您的经验。此外,如果您遇到以上任何概念的问题,请随时在下面的评论中问我。