本篇主要記錄一些與資料庫有關的操作,本來想看一下python的多執行緒,來優化一下上一篇的程式碼,然後看到了 python 的 GIL,恩,多執行緒先棄了。別我看了半天執行緒安全,執行緒池什麼的,結果告訴我優化不能。那麼就先看一下資料庫有關的,方便以後玩出各種花樣。
環境
Mac、MySQL 5.7.17,我這裡MySQL由於以前弄過jdbc、php啥的,都已經裝好了。還需要安裝PyMySQL包:
$ pip install PyMySQL
複製程式碼
反正我執行完這個命令就搞定了,如果各位有什麼問題,自己百度,哈哈。
簡單的查
為什麼只是簡單的查呢……因為其實就是執行 sql 語句……寫一個瞭解下就差不多了……程式碼如下:
# -*- coding: UTF-8 -*-
import pymysql
# 開啟資料庫連線
db = pymysql.connect('localhost', 'root', '123456', 'ForPy')
db.set_charset('utf8')
# 使用 cursor() 方法建立一個遊標物件
cursor = db.cursor()
# 使用 execute() 方法執行 SQL 查詢
cursor.execute('select * from `doubanTop250`')
# 查詢資料
data = cursor.fetchall()
for row in data:
name = row[0]
star_num = row[1]
desc = row[2]
url = row[3]
print("name=" + name + " star_num=" + star_num +
" desc=" + desc + " url=" + url)
複製程式碼
輸出:
恩,沒錯,這裡的資料就是後面我訪問豆瓣從網頁中抓取插入資料庫表中的。
將資料插入資料庫
比較簡單,而且和上次差不多,所以就記錄一下,不多做解釋,最終的效果也就是把資料插入資料庫的表中。
# -*- coding: UTF-8 -*-
from bs4 import BeautifulSoup
import requests
import pymysql
count = 0
FILE_PATH = '豆瓣電影TOP250.txt'
USERNAME = 'root'
PASSWORD = '123456'
DATABASE = 'ForPy'
def getMovieList():
global count
resp = requests.get('https://movie.douban.com/top250?start=' + str(count))
bs = BeautifulSoup(resp.text, 'html.parser')
for item in bs.find_all('div', {'class': 'item'}):
title = item.find('span', {'class': 'title'}).get_text()
rating_num = item.find('span', {'class': 'rating_num'}).get_text()
img = item.find('img')['src']
tag = item.find('span', {'class': 'inq'})
if tag is not None:
desc = tag.get_text()
print('標題:', title, ' 評分:', rating_num, ' 描述:', desc, ' image_url:', img)
insert(title, rating_num, desc, img)
# img = item.find('div', {'class': 'pic'}).find("a").get_text()
# print(title, img)
# f.writelines('標題:' + title + ' 評分:' + rating_num + ' 描述:' + desc + ' image_url:' + img+"\n\n")
count += 25
if count >= 255:
print('獲取完畢')
else:
getMovieList()
def insert(title, rating_num, desc, image_url):
cursor = db.cursor()
sql = "INSERT INTO `doubanTop250` VALUES (\"%s\",\"%s\",\"%s\",\"%s\")" % \
(title, rating_num, desc, image_url)
print(sql)
result = cursor.execute(sql)
print("affect rows: " + str(result))
db.commit()
db = pymysql.connect('localhost', USERNAME, PASSWORD, DATABASE)
# 不設定在執行 sql 語句時報字元錯誤
db.set_charset('utf8')
# f = open(FILE_PATH, 'w+', encoding='utf-8')
getMovieList()
db.close()
# f.close()
複製程式碼