【機器學習】什麼樣的機器學習產品是最符合使用者需求的；機器學習模型的衡量不止準確率：還有精度和召回率

編譯 | AI 科技大本營

參與 | 林椿眄

校對 | Leo

機器學習 (ML) 和人工智慧 (AI) 是當今社會的熱門話題。所以，最近有很多產品經理及那些有意向轉向產品經理職位的人向我詢問，如何才能成為更好的 ML 產品經理。

由於機器學習和產品管理之間的交集是一個相當豐富的話題，一篇文章不足以詳細地闡述所有有關的內容，因此我打算把它分成三部分來分別說明：

第一部分——問題定義：什麼樣的機器學習產品是最符合使用者需求的。

第二部分——機器學習的使用技巧：對於產品經理來說，需要掌握哪些特殊技巧來構建機器學習產品。

第三部分——注意事項：使用機器學習構建產品的過程中應注意哪些問題。

這篇文章中我們將總結在什麼情景設定下，適合應用機器學習技術來解決你的問題。

▌聚焦於使用者需求

什麼時候適合運用機器學習來構建優質的產品呢？

首先我們要關注使用者的需求。通常，人們會習慣性地認為機器學習是以某種方式從根本上改變了產品經理的技能組合。

這是個常見的認知錯誤！

機器學習本身並不是目的，它只是解決使用者真實需求的一種工具。我發現很多公司都有很棒的人工智慧技術，並且已經在許多實際應用中驗證了這些技術的實用性。如果你開發了一個很酷的新技術，想在現實中應用它，那麼你需要考慮的是這項技術能夠解決什麼問題，或者通過這項技術可以增強哪些方面的經驗。

話雖如此，還是有很多人工智慧的初創公司利用機器學習提出了一些很棒的創新技術，而這些並不總是專注於解決使用者的問題/需求。雖然這些創新技術推動了技術前沿的發展，並在生態系統中扮演著非常重要，但是這些初創公司往往都會被收購，因為他們很難找到適合自己公司發展的產品市場。

作為一個產品經理，如果你嘗試構建一些機器學習產品來服務於使用者，那麼使用者的問題及需求應該是你需要關注的焦點。

如何判斷機器學習技術是否可以用來解決使用者的需求/業務問題，或者說在什麼情境下適合運用這項技術呢？

我們都知道，機器學習技術最適合用於解決一些與模式識別相關的問題，而通常這些問題又可以分為幾種不同的型別。



▌使用者被大量的資料淹沒

很多時候，使用者需要在海量的資料中做出選擇和決策，處理這些問題的最佳工具就是機器學習/人工智慧技術。Google 和 Bing 等搜尋引擎公司就是使用各種機器學習演算法來為使用者搜尋提供最佳結果。

例如，當你搜尋食譜時，搜尋引擎會自動學習你的搜尋模式，以及與你類似的搜尋和點選行為的模式，併為你自動篩選出最貼近的食譜作為第一個結果。

此外，分類問題也能夠利用機器學習來解決。例如，如果你希望將數百萬篇教育類的帖子進行分類，並且已經利用一些教育類的文件訓練好一個機器學習模型，那麼這個模型可以幫助你自動分類這些帖子。

▌需要複雜認知能力的情況

現實中很多問題的解決都需要模型具有複雜的認知能力。例如，無人駕駛汽車需要能夠了解道路周圍複雜的環境。一個用於自動分類照片的應用程式，需要能夠準確地檢測圖片中的地點，人員及物體等資訊。

解決這些問題通常都需要複雜的認知技能，而構建這類智慧模型的唯一方法就是用大量的資料來“餵給”智慧模型，並通過一些模式識別的方法讓模型開始學習。

▌需要預測的情況

現實中，最常見的一類問題是預測使用者的喜好，如使用者是否喜歡新聞中的某個故事，是否會喜歡 Dropbox 中的內容等。因此，對於一個預測問題，需要預測使用者下一步的行為，機器學習將會是一個很好的選擇。

同樣，如果你想預測 2018 年 12 月的銷售情況 (前提是業務基礎沒有大幅改變) ，只需要提供過去幾年的歷史銷售資料，一個機器學習模型就可以成功地預測未來的銷售情況，即使考慮到季節性問題也是如此。機器學習模型不僅可以用於銷售情況的預測，對於其他問題，如庫存的使用情況也可以解決。

▌異常檢測

機器學習的另一大應用方向是對資料進行異常檢測。由於機器學習擅長處理模式識別問題，因此任何不符合常態的行為模式都可以很容易被檢測到。

其中，信用卡欺詐行為的檢測就是機器學習在這個領域的一個主要應用。如果使用者的信用卡使用模式與常規行為不同，則可能表明卡片正被盜用。同樣，如果黑客試圖訪問企業的內部網，檢視入侵者的訪問模式，機器學習模型可以通過學習這種模式來輕鬆地標記這種行為，並在下次發生時對這些行為進行攔截。

▌為你的決策提供建議

如果你希望幫助使用者做出某些決策，如提供一些關於購買、訪問、觀看等方面的建議，機器學習也是一個很好的工具。

機器學習模型通過觀察類似人的行為模式，購買類似的產品，訪問類似的網站，為使用者的決策提供建議，減輕決策制定時的認知負擔。通過檢視這些推薦，使用者即使不用翻看整個視訊目錄或遍歷所有搜尋結果也能找到他們感興趣的東西。

▌人機互動專案

如果你希望建立人機互動的專案，提供與人類交流的服務，那麼你需要了解自然語言處理的相關知識，這種情況下機器學習也將是個不錯的選擇。

一些移動端的語音助手，如 Alexa，Siri 和 Google Assistant 等，其背後的核心技術都能夠將人類語言翻譯為可執行的任務。我們提供大量關於語言，語音語調的資料，讓機器學習模型自動學習並理解語音資訊，進而將語音對映到語言，再將語言指令對映到任務，實現從人類語言到需求任務的轉換。

▌增強/創造新的體驗

在機器學習應用中，增強或創造新體驗是最令人興奮的一項創新技術。

這項技術就是應用機器學習實現一種從無到有的過程，為人類帶來全新的體驗。SnapChat 濾鏡就是一個成功的例子，它就是使用機器學習技術來增強使用者體驗：通過使用面部識別演算法，SnapChat濾鏡可以檢測出臉部的輪廓，從而將一些創意濾鏡疊加在臉部上，創造出更有趣、更新穎的圖片。

你還接觸過哪些機器學習新技術呢，給你帶來怎樣的新體驗呢？來分享一下你的經歷吧。

原文連結：

https://towardsdatascience.com/machine-learning-for-product-managers-part-i-problem-mapping-5436132c3a6e

機器學習模型的衡量不止準確率：還有精度和召回率

我們傾向於使用準確率，是因為熟悉它的定義，而不是因為它是評估模型的最佳工具！精度（查準率）和召回率（查全率）等指標對衡量機器學習的模型效能是非常基本的，特別是在不平衡分佈資料集的案例中，在周志華教授的「西瓜書」中就特別詳細地介紹了這些概念。

GitHub 地址：https://github.com/WillKoehrsen/Data-Analysis/blob/master/recall_precision/recall_precision_example.ipynb

為分類任務選擇正確的衡量指標

倘若某人聲稱建立了一個能夠識別登上飛機的恐怖分子的模型，並且準確率（accuracy）高達 99%。你相信嗎？好了，有這麼一個模型：將從美國機場起飛的所有乘客簡單地標註為非恐怖分子。已知美國全年平均有 8 億人次的乘客，並且在 2000-2017 年間共發現了 19 名恐怖分子，這個模型達到了接近完美的準確率——99.9999999%。這聽起來確實令人印象深刻，但是我懷疑美國國土安全域性不會在近期購買這個模型。儘管這個模型擁有接近完美的準確率，但是在這個問題中準確率顯然不是一個合適的度量指標。

恐怖分子檢測是一個不平衡的分類問題：我們需要鑑別的類別有兩個——恐怖分子和非恐怖分子，其中一個類別代表了極大多數的資料點。另一個不平衡分類問題出現在當疾病在公眾中的發病率很低時的疾病監測。在這兩種情況下，正例類別——疾病或恐怖分子，遠遠少於負例類別的數量。這種問題是資料科學中比較常見的例子，其中準確率並不是評估模型效能的很好的衡量標準。

直觀地說，我們知道在恐怖分子檢測的問題中宣佈所有的資料點為負例（非恐怖分子）是毫無裨益的，相反，我們應該聚焦於正例（恐怖分子）的識別。直覺告訴我們，我們應該最大化的是統計學上稱為召回率或查全率（recall）的衡量指標，或者是最大化模型找到資料集中所有相關案例的能力。召回率的準確定義是：真正例除以（真正例+假反例）的和，如下圖所示。真正例（true positives）是被真確分類的正例資料點，假反例（false negatives）是被錯誤分類的負例資料點。在恐怖分子檢測的例子中，TP 是被正確識別的恐怖分子，FN 是模型誤分類為非恐怖分子的恐怖分子的資料點。召回率可以被理解為模型找到資料集中所有感興趣的資料點的能力。

你可能注意到了這個等式中的一些細節：如果我們將所有的個體都預測為恐怖分子，那麼模型的召回率就是 1.0！這樣我們就得到了一個完美的模型嗎？當然，不是！與資料科學中的絕大多數概念一樣，在我們想要最大化的指標之間存在一個權衡。在召回率的例子中，當召回率增大的時候，精度就會減小。同樣，直覺告訴我們，一個將 100% 的乘客標記為恐怖分子的模型可能是不可用的，因為我們必須禁止每一個乘客的飛行。統計學為我們提供了表達直覺的詞彙：這個新的模型是低精度（precision）的，或者說較低的僅識別相關資料點的能力。

精度被定義為真正例除以（真正例+假正例）的和，如下圖所示。假正例（FP）指的是模型將實際上是反例的樣本誤判為正例的情況，或者說，在我們的例子中指的是那些被模型判斷為恐怖分子，而實際上不是恐怖分子的個體。召回率（查全率）表達的是模型找到資料集中相關例項的能力，而精度（查準率）表達模型找到的資料點中實際相關的比例。

現在我們可以看到，第一個模型給所有的個體標上了非恐怖分子的標籤，這個模型是不能使用的。儘管它有著近乎完美的準確率，但是它的精度和召回率都是零，因為沒有 TP（真正例）！假設我們輕微地修改一下模型，然後將一個個體正確地識別為恐怖分子。現在，精度是 1（沒有假正例，FP），但是召回率很低，因為實際上會有很多假反例（FN）。假設我們走到了另一個極端，將所有的乘客標記為恐怖分子，召回率就會是 1——我們將抓住每一個恐怖分子，但是精度會特別低，我們最終會拘留很多無辜的人。換言之，隨著精度的增加，召回率會降低，反之亦然。

精度—召回率權衡

結合精度和召回率

在某些情況中，我們也許需要以犧牲另一個指標為代價來最大化精度或者召回率。例如，在之前的例子中，在對患者進行隨訪檢查的初步疾病篩查中，我們可能希望得到接近於 1 的召回率—我們想找到所有實際患病的患者。如果隨訪檢查的代價不是很高，我們可以接受較低的精度。然而，如果我們想要找到精度和召回率的最佳組合，我們可以使用 F1 score 來對兩者進行結合。

F1 score 是對精度和召回率的調和平均：

我們使用調和平均而不是簡單的算術平均的原因是：調和平均可以懲罰極端情況。一個具有 1.0 的精度，而召回率為 0 的分類器，這兩個指標的算術平均是 0.5，但是 F1 score 會是 0。F1 score 給了精度和召回率相同的權重，它是通用 Fβ指標的一個特殊情況，在 Fβ中，β 可以用來給召回率和精度更多或者更少的權重。(還有其他方式可以結合精度和召回率，例如二者的幾何平均，但是 F1 score 是最常用的。) 如果我們想建立一個具有最佳的精度—召回率平衡的模型，那麼就要嘗試將 F1 score 最大化。

視覺化精度和召回率

我已經向你丟擲了幾個新術語，接下來我將通過一個例子向你展示它們在實際中是如何使用的。在使用之前，我們要簡單地談一談精度和召回率的概念。

首先要介紹一下混淆矩陣（confusion matrix），給定一個模型的預測標籤時，它可以被用來快速計算精度和召回率。二分類的混淆矩陣總共包含四個不同的結果：真正例（TP）、假正例（FP）、真反例（TN），以及假反例（FN）。列表示真實值，行表示預測值。行和列的交叉點指的就是這四種結果。例如，如果我們將一個資料點預測為正例，但是它實際上是反例，那麼這就是一個假正例。

用混淆矩陣計算精度和召回率需要找到矩陣中對應的值，並應用以下的等式進行計算。

其他的用來展示分類模型效能的視覺化技術是受試者特徵曲線（ROC 曲線，Receiver Operating Characteristic curve）。別被這個複雜的名詞嚇到！這個思想是相當簡單的：ROC 曲線展示了當改變在模型中識別為正例的閾值時，召回率和精度的關係會如何變化。如果我們有一個用來識別疾病的模型，我們的模型可能會為每一種疾病輸出介於 0 到 1 之間的一個分數，為了將某個病人標記為患有某種疾病（一個正例標籤），我們為每種疾病在這個範圍內設定一個閾值，通過改變這個閾值，我們可以嘗試實現合適的精度和召回率之間的平衡。

ROC 曲線在 Y 軸上畫出了真正例率（TPR），在 X 軸上畫出了假正例率 (FPR)。TPR 是召回率，FPR 是反例被報告為正例的概率。這兩者都可以通過混淆矩陣計算得到。

下圖是一個典型的 ROC 曲線：

黑色對角線表示隨機分類器，紅色和藍色曲線表示兩種不同的分類模型。對於給定的模型，只能對應一條曲線。但是我們可以通過調整對正例進行分類的閾值來沿著曲線移動。通常，當降低閾值時，會沿著曲線向右和向上移動。

在閾值為 1.0 的情況下，我們將位於圖的左下方，因為沒有將任何資料點識別為正例，這導致沒有真正例，也沒有假正例（TPR = FPR = 0）。當降低閾值時，我們將更多的資料點識別為正例，導致更多的真正例，但也有更多的假正例 ( TPR 和 FPR 增加)。最終，在閾值 0.0 處，我們將所有資料點識別為正，並發現位於 ROC 曲線的右上角 ( TPR = FPR = 1.0 )。

最後，我們可以通過計算曲線下面積 ( AUC ) 來量化模型的 ROC 曲線，這是一個介於 0 和 1 之間的度量，數值越大，表示分類效能越好。在上圖中，藍色曲線的 AUC 將大於紅色曲線的 AUC，這意味著藍色模型在實現準確度和召回率的權衡方面更好。隨機分類器 (黑線) 實現 0.5 的 AUC。

回顧

我們已經介紹了幾個判斷模型效能的屬性，每個屬性的定義都不是很複雜，但是結合在一起就有點複雜了。讓我們通過一個例子做一個快速的回顧來鞏固一下這些思想。

對於二分類問題：

• 真正例（TP）：實際上是正例的資料點被標記為正例

• 假正例（FP）：實際上是反例的資料點被標記為正例

• 真反例（TN）：實際上是反例的資料點被標記為反例

• 假反例（FN）：實際上是正例的資料點被標記為反例

召回率和精度衡量指標：

• 召回率（R）：分類模型識別所有相關例項的能力

• 精度（P）：分類模型僅僅返回相關例項的能力

• F1 score：使用調和平均結合召回率和精度的指標

召回率和精度的視覺化：

• 混淆矩陣：展示分類模型的真實和預測標籤的對應結果。

• 受試者特徵曲線（ROC 曲線）：畫出真正例率（TPR）和假正例率（FPR），並將此作為模型歸類正例閾值的函式。

• 曲線下面積（AUC）：基於 ROC 曲線下方的面積，計算分類模型總體效能的指標。

例項應用

我們的任務是為 100 名病人診斷一種在普通人群中患病率是 50% 的疾病。我們將假設一個黑盒模型，我們輸入關於患者的資訊，並得到 0 到 1 之間的分數。我們可以改變將患者標記為正例 (有疾病) 的閾值，以最大化分類器效能。我們將以 0.1 為增量從 0.0 到 1.0 評估閾值，在每個步驟中計算 ROC 曲線上的精度、召回率、F1 score 以及在 ROC 曲線上的位置。以下是每個閾值的分類結果：

模型在每個閾值下的結果

我們將以閾值為 0.5 為例計算對應的召回率、精度、真正例率、假正例率。首先我們得到混淆矩陣：

閾值為 0.5 時的混淆矩陣

我們可以利用混淆矩陣中的數值來計算召回率、精度和 F1 score：

然後計算真正例率和假正例率來確定閾值為 0.5 時，模型在 ROC 曲線上對應的點。

為了得到整個 ROC 曲線，我們在每個閾值下都進行這個過程。你可能會想，這是相當乏味的，所以，我們用 python 語言來代替手工計算。用來做這些計算的 Juoyter Notebook 放在了 github 上，每個人都可以看到。最終的 ROC 曲線如下所示，點上面的數字是閾值。

在這裡我們可以看到，所有的概念都彙集到一起了！在閾值等於 1.0 的點，我們沒有將任何病人歸類為患病，因此模型的召回率和精度都是 0。隨著閾值的減小，召回率增加了，因為我們發現更多的患者患有該疾病。然而，隨著召回率的增加，精度會降低，因為除了增加真正例之外，還會增加假正例。在閾值為 0.0 的時候，我們的召回率是完美的——我們發現所有的患者都患有這種疾病——但是精度很低，因為有很多假正例。通過更改閾值並選擇最大化 F1 score 的閾值，我們可以沿著給定模型的曲線移動。要改變整個曲線，我們需要建立一個不同的模型。

在每個閾值下最終模型的統計量如下表：

基於 F1 score，整體最佳的模型出現在閾值為 0.5 的地方。如果我們想要在更大程度上強調精度或者召回率，我們可以選擇這些指標上最佳時對應的模型。

結論

我們傾向於使用準確率，因為每個人都知道它意味著什麼，而不是因為它是完成任務的最佳工具！雖然更適合的度量指標 (如召回率和精度) 看起來可能很陌生，但我們已經直觀地瞭解了為什麼它們在某些問題 (如不平衡的分類任務) 中有著更好的表現。統計學為我們提供了計算這些指標的形式化定義和方程。資料科學是關於尋找解決問題的正確工具的學科，而且在開發分類模型時，我們常常需要超越準確率（accuracy）的單一指標。瞭解召回率、精度、F1 score 和 ROC 曲線使我們能夠評估分類模型，並應使我們懷疑是否有人僅僅在吹捧模型的準確率，尤其是對於不平衡的問題。正如我們所看到的，準確率（accuracy）並不能對幾個關鍵問題提供有用的評估，但現在我們知道如何使用更聰明的衡量指標！

原文連結：https://towardsdatascience.com/beyond-accuracy-precision-and-recall-3da06bea9f6c

本文系“產業智慧官”（公眾號ID：AI-CPS）收集整理，轉載請註明出處！

版權宣告：由產業智慧官（公眾號ID：AI-CPS）推薦的文章，除非確實無法確認，我們都會註明作者和來源。部分文章推送時未能與原作者取得聯絡。若涉及版權問題，煩請原作者聯絡我們，與您共同協商解決。聯絡、投稿郵箱：erp_vip@hotmail.com