09.Django-資料庫優化

平仄平仄平平仄發表於2020-06-11
Django資料庫優化

Django查詢資料庫效能優化

現在有一張記錄使用者資訊的UserInfo資料表,表中記錄了10個使用者的姓名,呢稱,年齡,工作等資訊.

models檔案

from django.db import models
    
class Job(models.Model):
    title=models.CharField(max_length=32)
    
class UserInfo(models.Model):
    username=models.CharField(max_length=32)
    nickname=models.CharField(max_length=32)
    job=models.ForeignKey(to="Job",to_field="id",null=True)

資料表中記錄:

另一張資料表記錄使用者工作的Job表,關聯使用者的工作欄位.

要查出每個使用者的使用者名稱,呢稱和工作等資訊

def index(request):
    user_list=models.UserInfo.objects.all()
    
    print(user_list.query)      # 列印查詢時使用的語句
    print(type(user_list))      # 列印查詢結果的資料型別
    
    for user in user_list:
    	print("%s-->%s-->%s" %(user.username,user.nickname,user.job.title))
    return render(request,'index.html')

列印資訊:

SELECT "app01_userinfo"."id", "app01_userinfo"."username", "app01_userinfo"."nickname", "app01_userinfo"."job_id" FROM "app01_userinfo"
<class 'django.db.models.query.QuerySet'>
user1-->user1-->python
user2-->user2-->linux
user3-->user3-->golang
user4-->user4-->python
user5-->user5-->linux
user6-->user6-->golang
user7-->user7-->python
user8-->user8-->linux
user9-->user9-->golang
user10-->user10-->linux

在服務端進行這些操作,這些查詢語句的效能是很低的,遍歷取出這10個使用者的姓名,呢稱,工作等資訊要在兩張資料庫中執行11次查詢操作.

首先只從UserInfo表中查出所有的使用者記錄,需要執行一次查詢操作.

查詢Job資料表,每迴圈一次使用者資訊的列表,都需要從Job表中查詢一次使用者的工作資訊.

資料表中總共記錄了10條使用者記錄,所以還需要迴圈10次才能從Job表中查詢完成所有使用者的工作資訊.所以一共需要執行11次資料庫查詢操作.

那有沒有什麼好的方法能夠提高資料庫查詢的效率呢???

def index(request):
    user_list=models.UserInfo.objects.values("username","nickname","job")
    
    print(user_list.query)      # 列印查詢時使用的語句
    print(type(user_list))      # 列印查詢結果的資料型別
    print("user_list:",user_list)
    
    for user in user_list:
    	print(user["username"], user["nickname"], user["job"])
    return render(request,'index.html')

執行程式,在服務端後臺列印資訊:

SELECT "app01_userinfo"."username", "app01_userinfo"."nickname", "app01_userinfo"."job_id" FROM "app01_userinfo"
<class 'django.db.models.query.QuerySet'>
user_list: <QuerySet [{'username': 'user1', 'nickname': 'user1', 'job': 1}, {'username': 'user2', 'nickname': 'user2', 'job': 2}, {'username': 'user3', 'nickname': 'user3', 'job': 3}, {'username': 'user4', 'nickname': 'user4', 'job': 1}, {'username': 'user5', 'nickname': 'user5', 'job': 2}, {'username': 'user6', 'nickname': 'user6', 'job': 3}, {'username': 'user7', 'nickname': 'user7', 'job': 1}, {'username': 'user8', 'nickname': 'user8', 'job': 2}, {'username': 'user9', 'nickname': 'user9', 'job': 3}, {'username': 'user10', 'nickname': 'user10', 'job': 2}]>
user1 user1 1
user2 user2 2
user3 user3 3
user4 user4 1
user5 user5 2
user6 user6 3
user7 user7 1
user8 user8 2
user9 user9 3
user10 user10 2

可以看到,查詢的結果user_list依然是一個QuerySet,但這個物件集合內部卻是一個字典.

而且這次的查詢只執行了兩次資料庫查詢操作.

通過這種方式,只需要兩次查詢就能得到想要的資料,優化了資料庫的查詢效率.

Django資料庫優化操作之select_related主動聯表查詢

上面的例子裡,取物件集合的時候,難道只能查詢當前資料表,不能查詢其他資料表嗎??

當然不是,在這裡還可以使用select_related這個方法.

在第一次查詢的時候,在all()後面加上一個select_related來做主動的聯表查詢.

在建立這兩張資料表時,job在UserInfo資料表中是做為一個ForeignKey存在的,所以加上select_related後不僅只查詢到了UserInfo資料庫的記錄,同時也查詢了Job資料表中的記錄.

def index(request):
    user_list=models.UserInfo.objects.all().select_related("job")
    
    print(user_list.query)      # 列印查詢時使用的語句
    print(type(user_list))      # 列印查詢結果的資料型別
    print("user_list:",user_list)
    
    for user in user_list:
        print("%s-->%s-->%s" %(user.username,user.nickname,user.job.title))
    return render(request,'index.html')

服務端列印結果

SELECT "app01_userinfo"."id", "app01_userinfo"."username", "app01_userinfo"."nickname", "app01_userinfo"."job_id", "app01_job"."id", "app01_job"."title" FROM "app01_userinfo" LEFT OUTER JOIN "app01_job" ON ("app01_userinfo"."job_id" = "app01_job"."id")
<class 'django.db.models.query.QuerySet'>
user_list: <QuerySet [<UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>]>
user1-->user1-->python
user2-->user2-->linux
user3-->user3-->golang
user4-->user4-->python
user5-->user5-->linux
user6-->user6-->golang
user7-->user7-->python
user8-->user8-->linux
user9-->user9-->golang
user10-->user10-->linux

檢視列印出來的查詢語句,其中有"FROM "app01_userinfo" LEFT OUTER JOIN "app01_job" ON ("app01_userinfo"."job_id" = "app01_job"."id")"用來做聯表查詢,只需要一次就可以查詢所有的資料了.

同樣的,如果還想繼續聯表,例如在Job表中再加一個外來鍵欄位desc,只需要在查詢語句中把desc加入進來就可以了

user_list=models.UserInfo.objects.all().select_related("job__desc")

這樣一來就把三張表聯絡起來做聯表查詢了,但是一定要確保所加的欄位為ForeignKey.

如果使用類似models.UserInfo.objects.all()語句進行查詢時,不要做跨表查詢,只查詢當前表中有的資料,否則查詢語句的效能會下降很多.

如果想查其他表中的資料,就加上select_related(ForeignKey欄位名);

如果想取多個ForeignKey欄位的資料,則可以使用select_related(ForeignKey欄位1,ForeignKey欄位2,...)

聯表查詢操作效能也會降低,select_related就是用來做主動聯表查詢的.

Django資料庫優化操作之perfetch_related非主動聯表查詢

perfetch_related方法是既非主動聯表查詢,又不進行很多查詢語句的一種折衷方案

修改檢視函式index

def index(request):
    user_list=models.UserInfo.objects.all().prefetch_related("job")
    
    print(user_list.query)      # 列印查詢時使用的語句
    print(type(user_list))      # 列印查詢結果的資料型別
    print("user_list:",user_list)
    
    for user in user_list:
        print("%s-->%s-->%s" %(user.username,user.nickname,user.job.title))
    return render(request,'index.html')

後端列印結果

SELECT "app01_userinfo"."id", "app01_userinfo"."username", "app01_userinfo"."nickname", "app01_userinfo"."job_id" FROM "app01_userinfo"
<class 'django.db.models.query.QuerySet'>
user_list: <QuerySet [<UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>]>
user1-->user1-->python
user2-->user2-->linux
user3-->user3-->golang
user4-->user4-->python
user5-->user5-->linux
user6-->user6-->golang
user7-->user7-->python
user8-->user8-->linux
user9-->user9-->golang
user10-->user10-->linux

使用prefetch_related方法未聯表執行兩次查詢操作

先查詢使用者表中的所有資料,把使用者表中所有的job_id全部查詢出來,並執行去重操作;

結果查詢出使用者的3種工作,接下來執行"select"語句查詢"Job"資料表中的"title"欄位

這樣一來就只執行了兩次資料表的查詢操作

在prefetch_related方法中加入一個欄位"job",執行了兩次資料庫查詢操作;

如果再加一個欄位,則會再多加一次資料為操作操作.

Django資料庫優化操作之only方法

def index(request):
    user_list=models.UserInfo.objects.all().only("username")
    
    print(user_list.query)      # 列印查詢時使用的語句
    print(type(user_list))      # 列印查詢結果的資料型別
    print("user_list:",user_list)
    
    for user in user_list:
        print("%s-->%s" %(user.username,user.nickname))
    return render(request,'index.html')

服務端後臺列印資訊

SELECT "app01_userinfo"."id", "app01_userinfo"."username" FROM "app01_userinfo"
<class 'django.db.models.query.QuerySet'>
user_list: <QuerySet [<UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>]>
user1-->user1
user2-->user2
user3-->user3
user4-->user4
user5-->user5
user6-->user6
user7-->user7
user8-->user8
user9-->user9
user10-->user10

執行查詢操作的時候加上only方法,其查詢結果還是一個物件集合,但是從列印出的查詢語句可以看到,執行查詢操作時只查詢了使用者的id欄位和username欄位,並沒有查詢nickname欄位.

但是在後面的迴圈中,又可以列印使用者的nikename資訊.為什麼呢,因為又執行了一次查詢的請求操作.由此得知,查詢操作使用了only方法,在only方法中加入哪個查詢欄位,在後面就使用哪個查詢欄位.

加only引數是從查詢結果中只取某個欄位,而另外一個defer方法則是從查詢結果中排除某個欄位

Django資料庫優化操作之defer方法

修改index檢視函式

def index(request):
    user_list=models.UserInfo.objects.all().defer("username")

    print(user_list.query)      # 列印查詢時使用的語句
    print(type(user_list))      # 列印查詢結果的資料型別
    print("user_list:",user_list)

    for user in user_list:
        print("%s" % user.nickname)
    return render(request,'index.html')

服務端列印資訊

SELECT "app01_userinfo"."id", "app01_userinfo"."nickname", "app01_userinfo"."job_id" FROM "app01_userinfo"
<class 'django.db.models.query.QuerySet'>
user_list: <QuerySet [<UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>]>
user1
user2
user3
user4
user5
user6
user7
user8
user9
user10

通過列印的查詢語句可以知道,使用defer方法後,只從資料庫中查詢了使用者的id欄位和使用者的nickname欄位操作,並沒有查詢username欄位,由此也可以提高Django查詢資料庫的效能.

相關文章