不到40行 Python 程式碼打造一個簡單的推薦系統

U2FsdGVkX1x發表於2019-04-16
Python

什麼是推薦系統

維基百科這樣解釋道：推薦系統屬於資訊過濾的一種應用。推薦系統能夠將可能受喜好的資訊或實物（例如：電影、電視節目、音樂、書籍、新聞、圖片、網頁）推薦給使用者。

本質上是根據使用者的一些行為資料有針對性的推薦使用者更可能感興趣的內容。比如在網易雲音樂聽歌，聽得越多，它就會推薦越多符合你喜好的音樂。

推薦系統是如何工作的呢？有一種思路如下：

使用者 A 聽了 收藏了 a,b,c 三首歌。使用者 B 收藏了 a, b 兩首歌，這時候推薦系統就把 c 推薦給使用者 B。因為演算法判斷使用者 A，B 對音樂的品味有極大可能一致。

推薦演算法分類

最常見的推薦演算法分為基於內容推薦以及協同過濾。協同過濾又可以分為基於使用者的協同過濾和基於物品的協同過濾

基於內容推薦是直接判斷所推薦內容本身的相關性，比如文章推薦，演算法判斷某篇文章和使用者歷史閱讀文章的相關性進行推薦。

基於使用者的協同過濾就是文章開頭舉的例子。

基於物品的協同過濾： 假設使用者 A,B,C 都收藏了音樂 a,b。然後使用者 D 收藏了音樂 a,那麼這時候就推薦音樂 b 給他。

動手打造自己的推薦系統

這一次我們要做的是一個簡單的電影推薦，雖然離工業應用還差十萬八千里，但是非常適合新手一窺推薦系統的內部原理。資料集包含兩個檔案：ratings.csv 和 movies.csv。

# 載入資料
import pandas as pd
import numpy as np
df = pd.read_csv('data/ratings.csv')
df.head()
複製程式碼

ratings.csv 包含四個維度的資料：

  • userId:打分使用者的 ID
  • movieId: 被打分電影的 ID
  • rating: 使用者給電影的打分，處於[1，5]
  • timestamp: 電影被打分的時間

要推薦電影還需要有電影的名字，電影名字儲存在 movies.csv 中：

movies = pd.read_csv('data/movies.csv')
movies.head()
複製程式碼

將 ratings.csv 和 movies.csv 的資料根據 movieId 合併。

df = pd.merge(df, movie_title, on='movieId')
df.head()
複製程式碼

我們這次要做的推薦系統的核心思路是：

  1. 根據所有使用者評分判斷所有電影與使用者 a 已觀看的某部電影 A 的相似度
  2. 給使用者 a 推薦相似度高且評分高的電影

所以我們要先有所有使用者對所有電影的評分的列聯表：

movie_matrix = df.pivot_table(index = 'userId', columns = 'title' ,values = 'rating')
movie_matrix.head()
複製程式碼

假設使用者 A 觀看的電影是 air_force_one (1997)，則計算列聯表中所有電影與 air_force_one (1997) 的相關性。

AFO_user_rating = movie_matrix['Air Force One (1997)']
simliar_to_air_force_one = movie_matrix.corrwith(AFO_user_rating)
複製程式碼

這樣我們就得到了所有電影與 air_force_one （1997）的相關性。

但是，直接對這個相關性進行排序並推薦最相關的電影有一個及其嚴重的問題：

ratings = pd.DataFrame(df.groupby('title')['rating'].mean())#計算電影平均得分
ratings['number_of_ratings'] = df.groupby('title')['rating'].count()
import matplotlib.pyplot as plt
%matplotlib inline
ratings['number_of_ratings'].hist(bins = 60);
複製程式碼

不到40行 Python 程式碼打造一個簡單的推薦系統

上圖是電影被評分次數的直方圖，可以看到大量的電影評分次數不足10次。評分次數太少的電影很容易就被判斷為高相關性。所以我們要將這部分的評分刪掉。

corr_AFO = pd.DataFrame(similar_to_air_force_one, columns = ['Correlation'])
corr_AFO.dropna(inplace = True)
corr_contact = corr_contact.join(ratings['number_of_ratings'],how = 'left',lsuffix='_left', rsuffix='_right')
corr_AFO[corr_AFO['number_of_ratings']>100].sort_values(by = 'Correlation',ascending = False).head()
複製程式碼

不到40行 Python 程式碼打造一個簡單的推薦系統

這樣我們就得到了一個與 air_force_one (1997) 高相關的電影列表。但是高相關有可能評分低（概率低），再從列表裡挑幾部平均得分高的電影推薦就好了。

叮～叮～叮～

上文的資料集和完整程式碼我放到微信公眾號「資料科學與技術」(read_csv) 了，回覆 「推薦」就好啦。

PS.掘金應該出一個檔案暫存頁面，資料科學領域的資料集太重要了?

相關文章