實戰|教你用Python玩轉Mysql

Python研究者發表於2021-06-06

爬蟲採集下來的資料除了儲存在文字檔案、excel之外,還可以儲存在資料集,如:Mysql,redis,mongodb等,今天辰哥就來教大家如何使用Python連線Mysql,並結合爬蟲為大家講解。

前提這裡預設大家已經安裝好mysql

01 Mysql簡介

mysql是關係型資料庫,支援大型的資料庫,可以處理擁有上千萬條記錄的大型資料庫。通過爬蟲採集的資料集儲存到mysql後,可以藉助mysql的關聯查詢將相關的資料一步取出。具體的作用這裡就不贅述了,下面開始進入實際操作。

1.安裝pymysql

通過下面這個命令進行安裝

pip install pymysql

pymysql庫:Python3連結mysql

備註:

ps:MYSQLdb只適用於python2.x

python3不支援MYSQLdb,取而代之的是pymysql

執行會報:ImportError:No module named 'MYSQLdb'

2.python連線mysql

import pymysql as pmq

localhost是本機ip,這裡用localhost表示是當前本機,否則將localhost改為對應的資料庫ip。

root是資料庫使用者名稱,123456是資料庫密碼,python_chenge是資料庫名。

圖上的資料庫python_chenge已經建立好(建好之後,才能用上面程式碼去連線),建好之後,當前是沒有表的,現在開始用Python進行建表,插入、查詢,修改,刪除等操作(結合爬蟲去講解

02 建表

在儲存之前,先通過python建立表,欄位有四個(一個主鍵+電影名稱,連結,評分

# 建立 movie 表

建立表movie,欄位分別為(id ,title ,url ,rate ),CHARACTER SET utf8 COLLATE utf8_general_ci是字串編碼設定為utf8格式

id是主鍵primary key,int型別,AUTO_INCREMENT自增,非空not null

title,url 是字串型別varchar(100),同樣非空

評分rate 是帶小數的數字,所以是float,同樣非空

03 插入資料

爬蟲已經採集到資料,python已經建好表,接著可以將採集的資料插入到資料庫,這裡介紹兩種方式

### 插入資料

id是自增的,所以不需要在傳值進去。

定義好插入資料庫方法後,開始往資料庫進行儲存

for i in json_data['subjects']:

04 查詢

1.查詢所有

查詢表中所有資料

# 查詢

2.查詢指定的資料

比如查詢標題為:唐人街3這一條資料的所有欄位

#查詢單條

05 更新修改

更新資料,還是以上面:唐人街3為例,id為7,將唐人街3評分從5.5改為6

### 更新

同時看一下資料庫

06 刪除

同樣還是以唐人街為例,其id為7,刪除的話我們們可以更新id去刪除

def delete(Id):

刪除之後,就沒有第7條資料了,說明刪除成功

07 小結

今天的技術講解文章就到此結束,主要是將瞭如何通過python去連線mysql,並進行建表,插入資料,查詢,更新修改和刪除。(乾貨文章,推薦收藏

相關文章