最全總結 | 聊聊 Python 資料處理全家桶(Sqlite篇)

AirPython發表於2020-09-20

image

1. 前言

上篇文章 聊到 Python 處理 Mysql 資料庫最常見的兩種方式,本篇文章繼續說另外一種比較常用的資料庫:Sqlite

Sqlite 是一種 嵌入式資料庫,資料庫就是一個檔案,體積很小,底層由 C 語言編寫,經常被整合到移動應用程式中

事實上,Python 內建了 sqlite3 模組,不需要安裝任何依賴,就可以直接操作 Sqlite 資料庫

2. 準備

和 Python 操作 Mysql 類似,操作 Sqlite 主要包含下面 2 種方式:

  • sqlite3 + 原生 SQL

  • SQLAlchemy + ORM

3. sqlite3 + 原生 SQL

由於 Python 內建了 sqlite3 模組,這裡直接匯入就可以使用了

# 匯入內建模組sqlite3
import sqlite3

首先,我們使用 sqlite3 的 connnect() 方法建立一個資料庫連線物件,如果資料庫不存在,就自動在對應目錄下新建一個資料庫檔案

# 建立資料庫連線物件,如果資料庫不存在,就自動新建一個資料庫檔案
# 還可以指定其他引數,包含:超時時間
 self.conn = sqlite3.connect(self.path_db)

然後,通過資料庫連線物件獲取一個運算元據庫的 遊標例項

# 獲取運算元據庫的遊標物件
self.cursor = self.conn.cursor()

接著,使用資料庫連線物件執行建立表的 SQL 語句,在資料庫內新建一張表

# 建立表
SQL_CREATE_TABLE = '''CREATE TABLE IF NOT EXISTS PEOPLE
       (ID INT PRIMARY KEY     NOT NULL,
       NAME           TEXT    NOT NULL,
       AGE            INT     NOT NULL);'''

def create_db_table(self):
    """
    初始化表
    :return:
    """
    self.conn.execute(SQL_CREATE_TABLE)

接下來,我們通過增刪改查來運算元據表

1、新增

同樣以新增單條資料和多條資料為例

對於單條資料的插入,只需要編寫一條插入的 SQL 語句,然後作為引數執行上面資料庫連線物件的 execute(sql) 方法,最後使用資料庫連線物件的 commit() 方法將資料提交到資料庫中

# 插入一條資料
SQL_INSERT_ONE_DATA = "INSERT INTO PEOPLE(id,name,age) VALUES(3,'xag',23);"

def insert_one(self):
    """新增一條資料"""
    try:
        self.conn.execute(SQL_INSERT_ONE_DATA)
        # 必須要提交,才能正確執行
        self.conn.commit()
    except Exception as e:
        self.conn.rollback()
        print('插入一條記錄失敗,回滾~')

需要注意的是,插入操作經常會因為主鍵原因導致新增異常,所以需要捕獲異常,執行回滾操作

使用資料庫連線物件的 executemany() 方法,傳入插入的 SQL 語句及 位置變數列表,可以實現一次插入多條資料

# 插入多條資料(3個變數,包含:id、name、value)
SQL_INSERT_MANY_DATA = 'INSERT INTO PEOPLE (id,name,age) VALUES(?,?,?);'

# 待插入的資料
self.data = [(4, '張三', 11), (5, '李四', 12), (6, '王五', 13)]

def insert_many(self, data):
    """新增多條資料"""
    try:
        self.conn.executemany(SQL_INSERT_MANY_DATA, data)
        self.conn.commit()
    except Exception as e:
        self.conn.rollback()
        print('插入多條記錄失敗,回滾~')

2、查詢

查詢分為 2 步,分別是:

  • 通過遊標物件執行查詢的 SQL 語句

  • 呼叫遊標物件的方法獲取查詢結果

比如:

要獲取所有資料,可以使用遊標物件的 fetchall() 方法

要獲取第一條滿足條件的資料,可以使用 fetchone() 方法

另外,fetchmany(num) 可以查詢固定數量的資料

# 查詢的SQL語句
SQL_QUERY_ONE_DATA = "SELECT * FROM PEOPLE WHERE id={}"

def query_one(self, id):
    """
    查詢一條資料
    :param id:
    :return:
    """
    self.cursor.execute(SQL_QUERY_ONE_DATA.format(id))

    # fetchone():查詢第一條資料
    # fetchall():查詢所有資料
    # fetchmany(1):查詢固定的數量的資料
    result = self.cursor.fetchall()
    print(type(result))
    print(result)

3、更新

和 新增操作 類似,更新操作也是通過資料庫連線物件去執行更新的 SQL 語句,最後執行提交操作,將資料真實更新到資料表中

以更新某一條記錄為例

# 更新資料
SQL_UPDATE_ONE_DATA = "UPDATE PEOPLE SET NAME = '{}',AGE={} where id = {}"

def update_one(self, id, name, age):
    """
    修改一條記錄
    :param id:
    :param name:
    :param age:
    :return:
    """
    sql_update = SQL_UPDATE_ONE_DATA.format(name, age, id)
    print(sql_update)
    self.conn.execute(sql_update)
    self.conn.commit()

4、刪除

刪除操作同查詢、新增操作類似,只需要執行刪除的 SQL 語句即可

以刪除某一條記錄為例

# 刪除資料
SQL_DEL_ONE_DATA = "DELETE FROM PEOPLE where id ={}"

def del_one(self, id):
    """通過id去刪除一條資料"""
    sql_del = SQL_DEL_ONE_DATA.format(id)
    self.conn.execute(sql_del)
    self.conn.commit()

最後,我們同樣需要將遊標物件和資料庫連線物件,資源釋放

def teardown(self):
    # 關閉遊標和資料庫連線,避免資源浪費
    self.cursor.close()
    self.conn.close()

4. SQLAlchemy + ORM

使用 SQLAlchemy 操作 sqlite 資料庫同樣先需要安裝依賴庫

# 安裝依賴包
pip3 install sqlalchemy

通過內建方法 declarative_base() 建立一個基礎類 Base

然後,自定義一個 Base 類的子類,內部通過定義靜態變數指定表名、表的欄位

from sqlalchemy import Column, Integer, String, create_engine
from sqlalchemy.ext.declarative import declarative_base

# 基礎類
Base = declarative_base()


# 自定義的表
class People(Base):
    # 表名
    __tablename__ = 'people'

    # 定義欄位
    id = Column(Integer, primary_key=True)
    name = Column(String)
    age = Column(Integer)

    def __repr__(self):
        """
        便於列印結果
        :return:
        """
        return "<People(id:{},name:{},age:{})".format(self.id, self.name, self.age)

接著,通過 SQLAlchemy 的 create_engine(sqlite資料庫路徑) 方法中建立資料庫連線物件

格式為:sqlite:///資料庫相對路徑

# 建立資料庫連線
engine = create_engine('sqlite:///./xh.db', echo=True)

最後,通過資料庫引擎在資料庫中建立表結構,並例項化一個 資料庫會話物件

PS:資料庫會話物件內建的方法非常方便我們進行增刪改查操作

# 建立表結構
# checkfirst:判斷表是否存在,如果存在,就不重複建立
Base.metadata.create_all(engine, checkfirst=True)

# 例項化會話
self.session = sessionmaker(bind=engine)()

這樣所有的準備工作已經完成,接下來可以進行增刪改查操作了

1、新增

新增操作同樣以新增一條和多條記錄為例,它們分別對應會話物件的 add()、add_all() 方法

對於一條記錄的新增操作,只需要例項化一個 People 物件,執行上面的會話物件的 add(instance) 和 commit() 兩個方法,即可以將資料插入到資料表中

def add_one_data(self):
    """新增一條資料"""
    # 建立一個表的例項物件
    people = People(name='xag1', age=24)
    self.session.add(people)

    # 必須提交,才能更新到資料庫中
    self.session.commit()

如果需要一次插入多條資料,只需要呼叫 add_all(列表資料) 即可

def add_datas(self, data):
    """
    新增多條資料
    :return:
    """
    self.session.add_all(data)
    self.session.commit()

2、查詢

查詢資料表的操作對應會話物件的 query() 方法

同時,還可以結合 all()、first()、filter_by(限制條件) 級聯方法限制要查詢的資料

以查詢所有記錄和根據 id 查詢一條記錄為例

def query_one_data(self, id):
    """
    通過id去查詢一條資料
    :param id:
    :return:
    """
    # 通過id去查詢資料,取第一條
    people = self.session.query(People).filter_by(id=id).first()
    print(people)
    print(type(people))

def query_all(self):
    """
    查詢所有資料
    :return:
    """
    peoples = self.session.query(People).all()
    print(peoples)
    print(type(peoples))

3、更新

更新操作一般做法是:

  • query 查詢出待更新的物件

  • 直接更新物件中的資料

  • 使用會話物件提交修改,完成更新操作

def update1(self, id, name, age):
    """
    更新記錄
    :param id:
    :param name:
    :param age:
    :return:
    """
    # 更新步驟:先查詢、修改資料、然後確認修改
    people_temp = self.session.query(People).filter_by(id=id).first()

    # 修改資料
    people_temp.name = name
    people_temp.age = age

    # 確認提交修改
    self.session.commit()

需要指出的是,這裡也可以使用內建方法 update() ,對上面的更新操作進行簡寫

def update2(self, id, name, age):
    """
    更新記錄方法2
    :param id:
    :param name:
    :param age:
    :return:
    """
    self.session.query(People).filter_by(id=id).update({People.name: name, People.age: age})
    self.session.commit()

4、刪除

和更新操作一樣,刪除操作也有兩種實現方式

第一種方式的思路是,先查詢,後刪除,最後提交會話完成刪除操作

以按照 id 刪除某一條記錄為例:

def del_one_data1(self, id):
    """
    刪除一條資料方法1
    :param id:
    :return:
    """
    people_temp = self.session.query(People).filter_by(id=id).first()

    # 判斷是否為空
    if people_temp is not None:
        self.session.delete(people_temp)
        self.session.commit()
    else:
        print('此條記錄不存在,刪除失敗!')

需要注意的是,查詢的結果必須判斷是否為空,否則直接執行刪除操作,可以會丟擲異常

另外一種方式是,直接使用級聯函式將上面的刪除操作進行簡寫

def del_one_data2(self, id):
    """
    刪除一條資料方法2
    :param id:
    :return:
    """
    try:
        self.session.query(People).filter_by(id=id).first().delete()
    except Exception as e:
        print('刪除失敗')

同樣,這種刪除操作需要捕獲異常,避免查詢的結果為空的情況

最後,完成所有操作之後,我們需要結束會話、銷燬資料庫引擎

def teardown(self):
    """
    釋放資源
    :return:
    """
    # 結束會話
    self.session.close()

    # 銷燬引擎
    self.engine.dispose()

5.最後

本篇文章通過一張表的增刪改查,詳細講解了 Python 操作 sqlite 的兩種使用方式

我已經將文中全部原始碼上傳到後臺,關注公眾號「 AirPython 」後回覆「 dball 」即可獲得全部原始碼

如果你覺得文章還不錯,請大家 點贊、分享、留言下,因為這將是我持續輸出更多優質文章的最強動力!

推薦閱讀

聊聊 Python 資料處理全家桶(Mysql 篇)

Python 如何使用 HttpRunner 做介面自動化測試

Python 自動化,Helium 憑什麼取代 Selenium?

相關文章