Mongodb-aggregate

在工作中经常遇到一些mongodb的聚合操作，和mysql对比起来，mongo存储的可以是复杂的类型，比如数组，字典等mysql不善于处理的文档型结构，但是mongo的聚合操作比mysql复杂。

mysql与mongo聚合类比

SQL 操作/函数   

mongodb聚合操作

where

$match

group by

$group

having

$match

select

$project

order by

$sort

limit　

$limit

sum()

$sum

count()

$sum

join

$lookup  

（v3.2 新增）

 

 

1.Aggregation Pipleline

管道将上一个命令输出的数据作为下一个命令的参数。MongoDB中的管道聚合非常实用，提供高效的数据聚合，并且是MongoDB中数据聚合的首选方法

来看一下官方给的图。

mongodb 性能优化 mongodb aggregate 性能_操作符

aggreagte是一个数组，其中包含多个对象（命令），通过遍历Pipleline数组对collection中的数据进行操作。

$match：查询条件

$group：聚合的配置

  • _id代表你想聚合的数据的主键，上述数据中，你想聚合所有cust_id相同的条目的amount的总和，那_id即被设置为cust_id。_id为必须，你可以填写一个空值。
  • total代表你最后想输出的数据之一，这里total是每条结果中amount的总和。
  • $sum是一个聚合的操作符，另外的操作符你可以在官方文档中找到。上图中的命令表示对相同主键（_id）下的amount进行求和。如果你想要计算主键出现的次数，可以把命令写成如下的形式  {$sum: 1}

聚合的过程

看一下图例，所有的数据先经过$match命令，只留下了status为A的数据，接着，对筛选出的数据进行聚合操作，对相同cust_id的数据进行计算amount总和的操作，最后输出结果。

2.aggregate具体介绍

  • $geoNear geoNear命令可以在查询结果中返回每个点距离查询点的距离
  • $group 指定 group 的 _id(key/keys) 和基于操作符($push/$sum/$addToSet/...) 的累加运算
  • $limit 限制条件
  • $match 输入过滤条件
  • $out 将输出结果保存到 collection
  • $project 修改数据流中的文档结构
  • $redact 是 $project/$match 功能的合并
  • $skip 跳过
  • $sort 对结果排序
  • $unwind 拆解数据
  • $geoNear geoNear命令可以在查询结果中返回每个点距离查询点的距离
  • $group 指定 group 的 _id(key/keys) 和基于操作符($push/$sum/$addToSet/...) 的累加运算
  • $limit 限制条件
  • $match 输入过滤条件
  • $out 将输出结果保存到 collection
  • $project 修改数据流中的文档结构
  • $redact 是 $project/$match 功能的合并
  • $skip 跳过
  • $sort 对结果排序
  • $unwind 拆解数据

$group 允许用的累加操作符 $addToSet/$avg/$first/$last/$max/$min/$push/$sum，不被允许的累加操作符$each... ,默认最多可以用 100MB RAM, 增加allowDiskUse可以让$group操作更多的数据

测试数据：



{ "_id" : ObjectId("5a2544352ba57ccba824d7bf"), "group" : "E", "created" : 1402764223, "count" : 63, "datetime" : 1512391126, "title" : "aa", "category" : "C8" }
{ "_id" : ObjectId("5a2544512ba57ccba824d7c0"), "group" : "I", "created" : 1413086660, "count" : 93, "datetime" : 1512391261, "title" : "bb", "category" : "C10" }
{ "_id" : ObjectId("5a2544562ba57ccba824d7c1"), "group" : "H", "created" : 1440750343, "count" : 41, "datetime" : 1512391111, "title" : "cc", "category" : "C1" }
{ "_id" : ObjectId("5a2544562ba57ccba824d7c2"), "group" : "S", "created" : 1437710373, "count" : 14, "datetime" : 1512392136, "title" : "dd", "category" : "C10" }
{ "_id" : ObjectId("5a2544562ba57ccba824d7c3"), "group" : "Z", "created" : 1428307315, "count" : 78, "datetime" : 1512391166, "title" : "ee", "category" : "C5" }
{ "_id" : ObjectId("5a2544562ba57ccba824d7c4"), "group" : "R", "created" : 1402809274, "count" : 74, "datetime" : 1512391162, "title" : "ff", "category" : "C9" }
{ "_id" : ObjectId("5a2544562ba57ccba824d7c5"), "group" : "Y", "created" : 1400571321, "count" : 66, "datetime" : 1512139164, "title" : "gg", "category" : "C2" }
{ "_id" : ObjectId("5a2544562ba57ccba824d7c6"), "group" : "L", "created" : 1416562128, "count" : 5, "datetime" : 1512393165, "title" : "hh", "category" : "C1" }
{ "_id" : ObjectId("5a2544562ba57ccba824d7c7"), "group" : "E", "created" : 1414057884, "count" : 12, "datetime" : 1512391165, "title" : "ii", "category" : "C3" }
{ "_id" : ObjectId("5a2544572ba57ccba824d7c8"), "group" : "L", "created" : 1418879346, "count" : 67, "datetime" : 1512391167, "title" : "gg", "category" : "C3" }



下面是aggregate的用法



true
_tmp
dbPath