作為AI產品經理，我們到底在優化什麼？

https://www.toutiao.com/a6685626606284702220/

大資料文摘出品

作者：Guy Molho

編譯：張強、睡不著的iris、周素雲

使用者體驗與人工智慧（AI）之間有什麼樣的關係？這種關係對產品經理而言又意味著什麼？

這兩個問題非常重要，因為它會影響產品的使用者體驗及其價值主張。

本文作者Guy Molho，是一位經驗豐富的產品經理。曾經用了15個月的時間，在沒有涉足太多細節的情況下，為B2B公司的客戶成功團隊開發了基於AI的軟體解決方案。

在文章中他提到，產品經理需要了解她的客戶，需要了解自己的工作環境、使命、想要實現什麼以及挑戰，然後才能設計出最能滿足這些需求的目標解決方案。

以下是他對“作為AI產品經理，我們到底在優化什麼？”問題的回答，enjoy☟

對於產品經理而言，AI代表是什麼？

產品必須解決現實世界的問題。技術和實施細節應該為產品服務，並且對可用性的影響最小（至少在軟體層面）。AI是一種解決問題的實現方法，但其預測性對使用者體驗和可用性有重要影響。

當一家公司為任何市場或類別設計基於AI的解決方案時，它總要捫心自問，我們為什麼優化產品？我們是否正在優化準確度、陽性預測值或命中率？或換句話說，是否能優化精確度或召回率？回答這些問題至關重要，因為它會影響產品的使用者體驗及其價值主張。

作為一家開發基於AI的解決方案的初創公司的產品經理，我每天都會考慮這個問題，並根據決策制定我們的解決方案。

召回率和精確度

召回率和精確度聽起來很熟悉，也許熟悉到忘記它們是什麼！精確度和召回率是統計術語，用於衡量演算法返回結果的關聯。這些術語有官方學術解釋，但我想通過一個例子來解釋一下。

天氣預測

假設我有一臺預測明天是否會下雨的機器。如果明天下雨，機器返回“是”，如果不下雨，則返回“否”。我們連續100天執行機器並得到以下結果：

• 機器預測會下雨10次
• 其餘的90天它預測是不下雨

現在我們將預測結果與實際的天氣進行比較：

在它預測下雨的10次中，的確下雨了。預測非常精確。有多精確呢？ 在10次預測中，10次下了雨→10/10。我們的精度為100％。

這是否意味著我有終極的下雨預測器？這並不確定。讓我們看看其他90天。

當我們計算下雨天的總數時，我們發現實際上總共有20個下雨天。這意味著什麼？機器召回（預測正確）了20個雨天中的10個雨天→10/20→50％。所以它預測了50％的雨天，但它也錯過了其中50％。

現在，你認為我的機器仍然很棒嗎？

來源：Unsplash

讓我們考慮極端情況。我的機器壞了，每天它都說明兒會下雨。得到的結果：

• 下雨-100天
• 不下雨-0天

現在讓我們再次評估結果：

機器現在不那麼精確了，因為在它總共預測的100次中，實際上只下雨了20次→20/100→20％。

但是從真正的20個下雨天考慮，機器正確預測了全部20個，即20/20→100％召回率。

現在假設你可以去商店購買上述機器之一，您更喜歡哪臺機器？更精確的那個，即如果它說要下雨，你可以很確定，但會錯過許多下雨天；還是不會錯過任何下雨天，但很多其他日子都會預測錯誤的機器？

答案不是那麼直截了當。也許對於降雨預測是這樣，但對於許多其它的基於AI的應用來講，那並非如此。

這也許有些繞，不過沒關係，我建立了混淆矩陣，也許能幫助你對事物分類並計算精確度和召回率：

精確度= TP / (TP+FP)

召回率= TP / (TP+FN)

天氣預測—機器A

精確度=10/(10+0) = 10/10 = 100%

召回率=10/(10+10) = 10/20 = 50%

精確度=10/(10+0) = 10/10 = 100%

召回率=10/(10+10) = 10/20 = 50%

天氣預測—機器B

精確度= 20/(20+80) = 20/100 = 20%

召回率= 20/(20+0) = 20/20 = 100%

精確度= 20/(20+80) = 20/100 = 20%

召回率= 20/(20+0) = 20/20 = 100%

那麼，你在優化什麼？

現在，當我們真正瞭解差異時，我們應該如何優化我們的模型和產品？ 精確度或召回率？大多數時候我們必須選擇其一，精確度和召回率都高几乎是不可能的。

優化什麼的決策取決於許多因素：心理、經濟、錯誤成本、遺漏成本、聲譽和時間等等。

讓我們來看三個真實場景並討論一下：

癌症檢測

作為一名患者，你寧願被發現患有癌症並開始治療，然後發現沒有患病（假陽性）？還是當已經來不及治療時發現你患有癌症（假陰性）？

如果你是健康保險公司，你的答案是否會改變？你會資助所有不必要的治療嗎？你會提高保險費以不錯過任何人嗎？作為一名醫生，您是否會冒著聲譽的風險去錯過檢測？

至少作為病人，沒有人想錯過被檢測。因此，當構建檢測癌症的產品時，優化召回率（避免假陰性）將更有意義。

機場安檢

作為乘客，你寧願在漫長的警戒線中等待，以免有危險意外通過安檢嗎？還是更願意快速通過這些檢查，並承擔槍可以走私到飛機的風險？監管者肯定會選擇避免風險。

Netflix推薦

作為使用者，你更願意獲得高度相關的推薦，而不是可能受歡迎但不適合你的一般內容。因此，在這種情況下，產品要優化精確度（避免假陽性）。

我們可以討論幾十個例子，並嘗試瞭解產品要優化什麼，以及在與之互動時，它如何影響整體的使用者體驗。

客戶流失預測

我們開發了一款基於AI的產品，用於預測B2B公司的客戶流失。我們使客戶成功團隊能夠將他們的工作重點放在真正重要的客戶身上，並得到更好結果。

優化精確度意味著產品將精確定位一個非常有針對性的名單，該名單包含面臨流失風險的客戶，且沒有人被錯誤地劃歸其中。朝著這個方向的困難是缺少一堆會流失卻沒被檢測到的客戶。

緩解這種情況的想法是將列表拆分為幾頁，其中第一頁包含最相關的客戶。如果使用者想要探索更多，則可以進入下一頁。Google搜尋結果提供了這樣的體驗，首頁包含最相關的結果。如果你想探索更多，你也可以檢視其他頁面。

優化召回率意味著產品將不那麼敏感，並且會生成面臨流失風險的客戶的更長名單，並確保我們不會錯過任何人。這裡的缺點是該列表會包含誤報，即一些不會有流失風險的客戶。

減輕這種情況的辦法是將列表與其他客戶特徵相結合，這些特徵可能會對其風險（例如優先順序）提供更多提示。

因此，作為產品經理，我需要向客戶瞭解，他們是更容忍假陽性還是假陰性，他們期望從產品中獲得什麼樣的體驗？是否有足夠的資源來處理流失的客戶等等。

相關連結

https://towardsdatascience.com/what-are-you-optimizing-for-17c4406544ec

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/29829936/viewspace-2643137/，如需轉載，請註明出處，否則將追究法律責任。