Django的数据库相关操作
对象关系映射（英语：(Object Relational Mapping，简称ORM），是一种程序技术，用于实现面向对象编程语言里不同类型系统的数据之间的转换。从效果上说，它其实是创建了一个可在编程语言里使用的--“虚拟对象数据库”。
ORM用来把对象模型表示的对象映射到基于SQL 的关系模型数据库结构中去。这样，我们在具体的操作实体对象的时候，就不需要再去和复杂的 SQL 语句打交道，只需简单的操作实体对象的属性和方法 。ORM 技术是在对象和关系之间提供了一条桥梁，前台的对象型数据和数据库中的关系型的数据通过这个桥梁来相互转化 。
Django是一个大而全的框架，它内部中集成了ORM，关于数据库的操作主要是以类的形式出现，Django框架中models.py文件提供可自定义创建类的接口，用类与数据库的表相映射，类中的静态字段（属性）相当于数据库表的字段，每一个实例对象相当于数据库中的表记录。
model层映射关系：
表名 <－－－－－－－> 类名
字段 <－－－－－－－> 属性
表记录 <－－－－－－－> 类实例对象
Django创建表（定义类）
Django有关数据库表的操作就是Python中类的操作，所以定义关系型数据库的表的方式就是创建类的方式。表与表之间的外键关联在Django中用Foreignkey（一对多或一对一）字段和ManyToMany（多对多）字段表示，外键应该建在多的一方。
下面我们用实例来说明：我们来假定下面这些概念，字段和关系
我们要建立四张表：作者表、作者详情表、出版社表、图书表。其中作者表与作者详情表一对一关联，作者表与图书表多对多关联，图书表与出版社表多对多关联。
- 作者模型：一个作者有姓名和年龄。
- 作者详细模型：把作者的详情放到详情表，包含生日，手机号，家庭住址等信息。作者详情模型和作者模型之间是一对一的关系（one-to-one）
- 出版商模型：出版商有名称，所在城市以及email。
- 书籍模型： 书籍有书名和出版日期，一本书可能会有多个作者，一个作者也可以写多本书，所以作者和书籍的关系就是多对多的关联关系(many-to-many);一本书只应该由一个出版商出版，所以出版商和书籍是一对多关联关系(one-to-many)。
模型建立如下：
class Author(models.Model):
nid = models.AutoField(primary_key=True)
name=models.CharField( max_length=32)
age=models.IntegerField()
# 与AuthorDetail建立一对一的关系
authorDetail=models.OneToOneField(to="AuthorDetail")
class AuthorDetail(models.Model):
nid = models.AutoField(primary_key=True)
birthday=models.DateField()
telephone=models.BigIntegerField()
addr=models.CharField( max_length=64)
class Publish(models.Model):
nid = models.AutoField(primary_key=True)
name=models.CharField( max_length=32)
city=models.CharField( max_length=32)
email=models.EmailField()
class Book(models.Model):
nid = models.AutoField(primary_key=True)
title = models.CharField( max_length=32)
publishDate=models.DateField()
price=models.DecimalField(max_digits=5,decimal_places=2)
keepNum=models.IntegerField()<br> commentNum=models.IntegerField()
# 与Publish建立一对多的关系,外键字段建立在多的一方
publish=models.ForeignKey(to="Publish",to_field="nid")
# 与Author表建立多对多的关系,ManyToManyField可以建在两个模型中的任意一个，自动创建第三张表
authors=models.ManyToManyField(to='Author')
LOGGING = {
'version': 1,
'disable_existing_loggers': False,
'handlers': {
'console':{
'level':'DEBUG',
'class':'logging.StreamHandler',
},
},
'loggers': {
'django.db.backends': {
'handlers': ['console'],
'propagate': True,
'level':'DEBUG',
},
}
}通过logging可以查看翻译成的sql语句
注意事项：
- 表的名称myapp_modelName是根据模型中的元数据自动生成的，也可以覆写为别的名称
- nid字段可以不定义，不定义时Django会自动增加一个id字段作为自增主键
- 对于外键字段，Django 会在字段名后面添加"_id" 来创建数据库中的列名
- 这个例子中的CREATE TABLE SQL 语句使用PostgreSQL 语法格式，要注意的是Django 会根据settings 中指定的数据库类型来使用相应的SQL 语句。
- 定义好模型之后，你需要告诉Django 使用这些模型。你要做的就是修改配置文件中的INSTALL_APPSZ中设置，在其中添加models.py所在应用的名称。
- 外键字段 ForeignKey 有一个 null=True 的设置(它允许外键接受空值 NULL)，你可以赋给它空值 None 。
注：Django默认链接的数据库是sqlite，若想要链接MySQL需要在settings.py和app下的__init__.py中加一些配置
# 修改django默认的数据库的sqlite3为mysql
DATABASES = {
'default': {
'ENGINE': 'django.db.backends.mysql', #通过这个去链接mysql
'NAME': 'djangotsgl', #数据库名
'USER':'root', #MySQL用户名
'PASSWORD':'123456', #MySQL密码
'HOST':'localhost', #默认本机
'PORT':'3306',
}
}
settings.py中修改配置以连接MySQL
import pymysql
pymysql.install_as_MySQLdb()
app下的__init__.py
建立好数据模型之后，django会自动生成一套数据库抽象的API，可以让你执行关于表记录的增删改查的操作。
python manage.py makemigrations #创建脚本
python manage.py migrate #迁移
字段选项
每个字段有一些特有的参数，例如，CharField需要max_length参数来指定varchar数据库字段的大小。还有一些适用于所有字段的通用参数。 这些参数在文档中有详细定义，这里列举了一些最常用的：
(1)null
如果为True，Django 将用NULL 来在数据库中存储空值。 默认值是 False.
(1)blank
如果为True，该字段允许不填。默认为False。
要注意，这与 null 不同。null纯粹是数据库范畴的，而 blank 是数据验证范畴的。
如果一个字段的blank=True，表单的验证将允许该字段是空值。如果字段的blank=False，该字段就是必填的。
(2)default
字段的默认值。可以是一个值或者可调用对象。如果可调用 ，每有新对象被创建它都会被调用。
(3)primary_key
如果为True，那么这个字段就是模型的主键。如果你没有指定任何一个字段的primary_key=True，
Django 就会自动添加一个IntegerField字段做为主键，所以除非你想覆盖默认的主键行为，
否则没必要设置任何一个字段的primary_key=True。
(4)unique
如果该值设置为 True, 这个数据字段的值在整张表中必须是唯一的
(5)choices
由二元组组成的一个可迭代对象（例如，列表或元组），用来给字段提供选择项。 如果设置了choices ，默认的表单将是一个选择框而不是标准的文本框，而且这个选择框的选项就是choices 中的选项。
这是一个关于 choices 列表的例子：
YEAR_IN_SCHOOL_CHOICES = (
('FR', 'Freshman'),
('SO', 'Sophomore'),
('JR', 'Junior'),
('SR', 'Senior'),
('GR', 'Graduate'),
)
每个元组中的第一个元素，是存储在数据库中的值；第二个元素是在管理界面或 ModelChoiceField 中用作显示的内容。 在一个给定的 model 类的实例中，想得到某个 choices 字段的显示值，就调用 get_FOO_display 方法(这里的 FOO 就是 choices 字段的名称 )。例如：
from django.db import models
class Person(models.Model):
SHIRT_SIZES = (
('S', 'Small'),
('M', 'Medium'),
('L', 'Large'),
)
name = models.CharField(max_length=60)
shirt_size = models.CharField(max_length=1, choices=SHIRT_SIZES)
>>> p = Person(name="Fred Flintstone", shirt_size="L")
>>> p.save()
>>> p.shirt_size
'L'
>>> p.get_shirt_size_display()
'Large'
字段选项
添加表记录
Django中添加表记录就是对类进行实例化的过程，可以有两种方式（本人通常用方式二）
普通字段
#方式1
publish_obj=Publish(name="人民出版社",city="北京",email="renMin@163.com")
publish_obj.save() # 将数据保存到数据库的操作，必须有
#方式2 <br>返回值publish_obj是添加的记录对象
publish_obj=Publish.objects.create(name="人民出版社",city="北京",email="renMin@163.com")<br><br>方式3<br>表.objects.create(**request.POST.dict())
外键字段
#方式1:
publish_obj=Publish.objects.get(nid=1)
Book.objects.create(title="金瓶眉",publishDate="2012-12-12",price=665,pageNum=334,publish=publish_obj)
#方式2:
Book.objects.create(title="金瓶眉",publishDate="2012-12-12",price=665,pageNum=334,publish_id=1)
多对多字段
创建方式一：
book_obj=Book.objects.create(title="红楼梦",publishDate="2012-11-12",price=69,pageNum=314,publish_id=1)
author_yuan=Author.objects.create(name="Damon",age=23,authorDetail_id=1)
author_egon=Author.objects.create(name="Stefan",age=32,authorDetail_id=2)
book_obj.authors.add(author_egon,author_yuan) # 将某个特定的 model 对象添加到被关联对象集合中。 ======= book_obj.authors.add(*[])
book_obj.authors.create() #创建并保存一个新对象，然后将这个对象加被关联对象的集合中，然后返回这个新对象。
解除关系方式一：
book_obj.authors.remove() # 将某个特定的对象从被关联对象集合中去除。 ====== book_obj.authors.remove(*[])
book_obj.authors.clear() #清空被关联对象集合。
上述操作略显繁杂，Django中提供给了我们一个简便操作的方法："关联管理器"
"关联管理器"是在一对多或者多对多的关联上下文中使用的管理器。它存在于下面两种情况：
ForeignKey关系的“另一边”。像这样：
12345678 |
|
注意：ForeignKey字段创建在多的一方，这样一来两张表就以一对多的形式创建完了，从Article表查找Reporter的数据可以用Articl.reporter（多查询一为正向查询：表名.字段），从Reporter表查找Article的数据可以用Reporter.article_set（一查询多为反向查询：表名.表名_set）
ManyToManyField关系的两边：
123456 |
|
注意：ManyToMany字段创建在任何一方都可以，因为任何一方都可以被称为是多的一方。从Pizza表查找Topping表的数据可以用Pizza.Toppings（有外键一方查询无外键一方为正向查询：表名.字段），从Topping表查找Pizza的数据可以用Topping.Pizza_set（无外键一方查询有外键一方：表名.表名_set）
解除关系方式二：remove()和clear()
remove()
从关联对象集中移除执行的模型对象：
123 |
|
对于ForeignKey对象，这个方法仅在null=True时存在。
clear()
从关联对象集中移除一切对象。
12 |
|
注意这样不会删除对象 —— 只会删除他们之间的关联。就像 remove() 方法一样，clear()只能在 null=True的ForeignKey上被调用。
注意：对于所有类型的关联字段，remove()和clear()都会马上更新数据库。换句话说，在关联的任何一端，都不需要再调用save()方法。
直接赋值的方式：
通过赋值一个新的可迭代的对象，关联对象集可以被整体替换掉。
12 |
|
如果外键关系满足null=True，关联管理器会在添加new_list中的内容之前，首先调用clear()方法来解除关联集中一切已存在对象的关联。否则， new_list中的对象会在已存在的关联的基础上被添加。
修改表记录
#方式一：
author=Author.object.get(id=5)#得到要被修改的对象
author.name='Elena'
author.save()
#方式二：
Author.objects.filter(id=5).update(name='Elena')#这里要用filter不能用get
注意：
- 第二种方式修改不能用get的原因是：update是QuerySet对象的方法，get返回的是一个model对象，它没有update方法，而filter返回的是一个QuerySet对象(filter里面的条件可能有多个条件符合，比如name＝'alvin',可能有两个name＝'alvin'的行数据)。
- save()方法会更新一行里的所有列。 而某些情况下，我们只需要更新行里的某几列。
- update()方法对于任何结果集（QuerySet）均有效，这意味着我们可以同时更新多条记录update()方法会返回一个整型数值，表示受影响的记录条数。注意，这里因为update返回的是一个整形，所以没法用query属性；对于每次创建一个对象，想显示对应的raw sql，需要在settings加上日志记录部分
删除表记录
删除方法就是 delete()。它运行时立即删除对象而不返回任何值。例如：
e.delete()
我们也可以一次性删除多个对象。每个 QuerySet 都有一个 delete() 方法，它一次性删除 QuerySet 中所有的对象。
例如，下面的代码将删除 pub_date 是2005年的 Entry 对象：
Book.objects.filter(pub_date__year=2005).delete()
无论在什么情况下，QuerySet 中的 delete() 方法都只使用一条 SQL 语句一次性删除所有对象，而并不是分别删除每个对象。如果想使用在 model 中自定义的 delete() 方法，就要自行调用每个对象的delete 方法。(例如，遍历 QuerySet，在每个对象上调用 delete()方法)，而不是使用 QuerySet 中的 delete()方法。
在 Django 删除对象时，会模仿 SQL 约束 ON DELETE CASCADE 的行为，换句话说，删除一个对象时也会删除与它相关联的外键对象。例如：
b = Blog.objects.get(pk=1)
# This will delete the Blog and all of its Entry objects.
b.delete()
要注意的是： delete() 方法是 QuerySet 上的方法，但并不适用于 Manager 本身。这是一种保护机制，是为了避免意外地调用 Entry.objects.delete() 方法导致 所有的 记录被误删除。如果你确认要删除所有的对象，那么你必须显式地调用：
Entry.objects.all().delete()
查询表记录
表记录的查询一直都是数据库操作的重中之重，在Django中对表记录的查询也是涉及的知识点最多的内容。
表记录的查询主要分为：单表查询（双下划线引入逻辑）、跨表查询、聚合与分组查询、F查询与Q查询。其中跨表查询又分为一对一、一对多、多对多三种情况
查询相关的主要API
<1> all(): #查询所有结果
<2> filter(**kwargs): #它包含了与所给筛选条件相匹配的对象
<3> get(**kwargs): #返回与所给筛选条件相匹配的对象，返回结果有且只有一个，
#如果符合筛选条件的对象超过一个或者没有都会报错
<5> exclude(**kwargs): #它包含了与所给筛选条件不匹配的对象
<4> values(*field): #返回一个ValueQuerySet——一个特殊的QuerySet，运行后得到的并不是一系列
#model的实例化对象，而是一个可迭代的字典序列
<9> values_list(*field): #它与values()非常相似，它返回的是一个元组序列，values返回的是一个字典序列
<6> order_by(*field): #对查询结果排序
<7> reverse(): #对查询结果反向排序
<8> distinct(): #从返回结果中剔除重复纪录
<10> count(): #返回数据库中匹配查询(QuerySet)的对象数量。
<11> first(): #返回第一条记录
<12> last(): #返回最后一条记录
<13> exists(): #如果QuerySet包含数据，就返回True，否则返回False
单表查询中的双下划线处理比较运算及逻辑运算
逻辑运算主要有>（gt）、<（lt）、<=（lte）、>=（gte）、包含（contains）、不包含（icontains）、bettwen and、startswith、istartswith、endwith、iendwith
下面进行简单示例：
models.Tb1.objects.filter(id__lt=10, id__gt=1) # 获取id大于1 且 小于10的值
models.Tb1.objects.filter(id__in=[11, 22, 33]) # 获取id等于11、22、33的数据
models.Tb1.objects.exclude(id__in=[11, 22, 33]) # not in
models.Tb1.objects.filter(name__contains="ven")
models.Tb1.objects.filter(name__icontains="ven") # icontains大小写不敏感
models.Tb1.objects.filter(id__range=[1, 2]) # 范围bettwen and
startswith，istartswith, endswith, iendswith
基于对象的跨表查询
一对多查询（Publish 与 Book）
正向查询(按字段：publish)：
# 查询nid=1的书籍的出版社所在的城市
book_obj=Book.objects.get(nid=1)#得到nid=1的书籍
print(book_obj.publish.city) # book_obj.publish 是nid=1的书籍对象关联的出版社对象
反向查询(按表名：book_set)：
# 查询 人民出版社出版过的所有书籍
publish=Publish.objects.get(name="人民出版社")
book_list=publish.book_set.all() # 与人民出版社关联的所有书籍对象集合
for book_obj in book_list:
print(book_obj.title)#得到的是每一个与人民出版社关联的书籍的名字
一对一查询(Author 与 AuthorDetail)
正向查询(按字段：authorDetail)：
# 查询Damon作者的手机号
author_Damon=Author.objects.get(name="Damon")#得到作者
print(author_Damon.authorDetail.telephone)
反向查询(按表名：author)：
# 查询所有住址在北京的作者的姓名
authorDetail_list=AuthorDetail.objects.filter(addr="beijing")
for obj in authorDetail_list:
print(obj.author.name)
多对多查询 (Author 与 Book)
正向查询(按字段：authors)：
# 《钢铁是怎样炼成的》所有作者的名字以及手机号
book_obj=Book.objects.filter(title="钢铁是怎样炼成的").first()
#因为filter得到的是Queryset（类似于列表），我们要取到对象必须用.first()得到第一个符合的对象
authors=book_obj.authors.all()
for author_obj in authors:
print(author_obj.name,author_obj.authorDetail.telephone)
反向查询(按表名：book_set)：
# 查询Damon出过的所有书籍的名字
author_obj=Author.objects.get(name="Damon")
book_list=author_obj.book_set.all() #与Damon作者相关的所有书籍
for book_obj in book_list:
print(book_obj.title)
注意：
在 ForeignKey() 和ManyToManyField的定义中设置 related_name 的值可以覆写 FOO_set 的名称，这样我们在反向查询时就可以直接用related_name的值来代替表名_set。例如，如果 Article model 中做一下更改： publish = ForeignKey(Blog, related_name='bookList')，那么反向查询时我们就可以：
12345 |
|
基于双下划线的跨表查询
上述跨表查询是以"."的形式进行库表操作的，可以实现链式操作。在Django中还提供了一种直观而高效的方式在查询中表示关联关系，它能自动确认 SQL JOIN 联系。要做跨关系查询，就使用两个下划线来链接模型间关联字段的名称，直到最终链接到想要的 model 为止。
# 练习1: 查询人民出版社出版过的所有书籍的名字与价格(一对多)
# 正向查询 按字段:publish
queryResult=Book.objects
.filter(publish__name="人民出版社")
.values_list("title","price")
# 反向查询 按表名:book
queryResult=Publish.objects
.filter(name="人民出版社")
.values_list("book__title","book__price")
# 练习2: 查询egon出过的所有书籍的名字(多对多)
# 正向查询 按字段:authors:
queryResult=Book.objects
.filter(authors__name="yuan")
.values_list("title")
# 反向查询 按表名:book
queryResult=Author.objects
.filter(name="yuan")
.values_list("book__title","book__price")
# 练习3: 查询人民出版社出版过的所有书籍的名字以及作者的姓名
# 正向查询
queryResult=Book.objects
.filter(publish__name="人民出版社")
.values_list("title","authors__name")
# 反向查询
queryResult=Publish.objects
.filter(name="人民出版社")
.values_list("book__title","book__authors__age","book__authors__name")
# 练习4: 手机号以151开头的作者出版过的所有书籍名称以及出版社名称
queryResult=Book.objects
.filter(authors__authorDetail__telephone__regex="151")
.values_list("title","publish__name")
View Code
注意：related_name的用法
聚合查询与分组查询
在查询中我们会遇到需要聚合或分组的情况，Django给我们提供了两个函数用来处理这两种情况——聚合aggregate(*args,**kwargs)、分组annotate(*args,**kwargs)
聚合：aggregate(*args, **kwargs)
aggregate()是QuerySet 的一个终止子句，意思是说，它返回一个包含一些键值对的字典。键的名称是聚合值的标识符，值是计算出来的聚合值。键的名称是按照字段和聚合函数的名称自动生成出来的。如果你想要为聚合值指定一个名称，可以向聚合子句提供它。
# 计算所有图书的平均价格
from django.db.models import Avg
Book.objects.all().aggregate(average_price=Avg('price'))#{'average_price': 34.35}
如果希望生成不止一个聚合，可以向aggregate()子句中添加另一个参数。例如，如果你也想知道所有图书价格的最大值和最小值，可以这样查询：
from django.db.models import Avg, Max, Min
Book.objects.aggregate(Avg('price'), Max('price'), Min('price'))
#{'price__avg': 34.35, 'price__max': Decimal('81.20'), 'price__min': Decimal('12.99')}
分组：annotate(*args, **kwargs)
为QuerySet中每一个对象都生成一个独立的汇总值。
(1) 练习：统计每一本书的作者个数
123 |
|
(2) 如果想对所查询对象的关联对象进行聚合：
练习：统计每一个出版社的最便宜的书
1234 |
|
annotate的返回值是querySet，如果不想遍历对象，可以用上valuelist：
#方式一：
queryResult= Publish.objects.annotate(MinPrice=Min("book__price")).values_list("name","MinPrice")
print(queryResult)
#方式二：
queryResult=Book.objects.values("publish__name").annotate(MinPrice=Min('price'))
注意：values和valuelist内的字段即group by的字段
(3) 统计每一本以py开头的书籍的作者个数：
queryResult=Book.objects
.filter(title__startswith="Py")
.annotate(num_authors=Count('authors'))
(4) 统计不止一个作者的图书：
queryResult=Book.objects
.annotate(num_authors=Count('authors'))
.filter(num_authors__gt=1)
(5) 根据一本图书作者数量的多少对查询集 QuerySet进行排序:
Book.objects.annotate(num_authors=Count('authors')).order_by('num_authors')(6) 查询各个作者出的书的总价格:
# 按author表的所有字段 group by
queryResult=Author.objects
.annotate(SumPrice=Sum("book__price"))
.values_list("name","SumPrice")
print(queryResult)
#按authors__name group by
queryResult2=Book.objects.values("authors__name")
.annotate(SumPrice=Sum("price"))
.values_list("authors__name","SumPrice")
print(queryResult2)
F查询与Q查询
在上面所有的例子中，我们构造的过滤器都只是将字段值与某个常量做比较。如果我们要对两个字段的值做比较，就需要用到F查询。
当我们需要在查询语句中引入与或非时，就需要用到Q查询
引入F查询和Q查询我们需要导入一个Django的内置模块
from django.db.models import F,Q
F查询
Django 提供 F() 来做这样的比较。F() 的实例可以在查询中引用字段，来比较同一个 model 实例中两个不同字段的值。
# 查询评论数大于收藏数的书籍
from django.db.models import F
Book.objects.filter(commnetNum__lt=F('keepNum'))
#Django 支持 F() 对象之间以及 F() 对象和常数之间的加减乘除和取模的操作。
# 查询评论数大于收藏数2倍的书籍
Book.objects.filter(commnetNum__lt=F('keepNum')*2)
#修改操作也可以使用F函数,比如将每一本书的价格提高30元：
Book.objects.all().update(price=F("price")+30
Q查询
filter() 等方法中的关键字参数查询都是一起进行“AND” 的。 如果需要执行更复杂的查询（例如OR 语句），就可以使用Q对象。
from django.db.models import Q
Q(title__startswith='Py')
Q 对象可以使用& 和| 操作符组合起来。当一个操作符在两个Q 对象上使用时，它产生一个新的Q 对象。
bookList=Book.objects.filter(Q(authors__name="Stefan")|Q(authors__name="Damon"))
#等同于SQL语句的条件where name ="Stefan" or name ="Damon"
#可以组合& 和| 操作符以及使用括号进行分组来编写任意复杂的Q 对象。同时，Q 对象可以使用~ 操作符取反，这允许组合正常的查询和取反(NOT) 查询：
bookList=Book.objects.filter(Q(authors__name="yuan") & ~Q(publishDate__year=2017)).values_list("title")
查询函数可以混合使用Q 对象和关键字参数。所有提供给查询函数的参数（关键字参数或Q 对象）都将"AND”在一起。但是，如果出现Q 对象，它必须位于所有关键字参数的前面。例如：
bookList=Book.objects.filter(Q(publishDate__year=2016) | Q(publishDate__year=2017),
title__icontains="python"
)
