貨拉拉貨運雙邊市場實驗全景解讀

　　 前言 INTRODUCTION

　　貨執行業的發展日新月異，雙邊市場性是貨執行業的重要特徵。在這個市場中，貨主和司機透過平臺進行連線，實現需求與供應的匹配。然而，這種模式也帶來了一系列的實驗挑戰，如交易、價格、營銷和產品場景中的問題。

　　在接下來的系列文章中，我們將深入探討如何在實踐中克服這些挑戰，以實現更高效、更精準的貨運雙邊市場實驗。

　　本文將透過詳細闡述這些挑戰，以及針對這些挑戰提出的技術方案，為讀者深入理解貨運雙邊市場實驗的複雜性和解決之道提供指引。

　　01

　　PART ONE

　　初識貨運雙邊市場

　　與傳統的一對一或一對多交易不同，貨執行業展現了典型的雙邊市場特點，主要建立在連線撮合和網路效應之上。

　　連線撮合是指在這種市場結構中，貨主作為需求方需尋找合適的車輛來運輸貨物；而司機作為供應方則等待有利可圖的訂單以提供服務。平臺作為連線雙方的橋樑，集合了分散的貨主和司機，促進有效的交易，確保滿足市場參與者需求，實現市場高效運作。網路效應指平臺價值與規模成正比。例如，對貨主而言，平臺上司機增多意味著更大的運輸選擇；反之，司機在平臺上有更多訂單可獲得收入。

　　此外，貨運市場還涉及獨特問題，如車貨匹配。不同於客運，貨運需要考慮多種車型與訂單需求的匹配，為在貨運雙邊市場實驗帶來挑戰。在此係列文章中，我們將分享應對這些挑戰的經驗。

　　02

　　PART TWO

　　貨運場景實驗問題

　　2.1 交易場景

　　在貨執行業的交易場景中，一大挑戰來自傳統個體分流方法（例如，基於訂單ID或使用者ID）的不適用性。這主要是因為在同一時間空間裡，實驗組和對照組的策略並行存在，造成了各組之間運力的互相競爭。

　　例如，擁有更優策略的實驗組可能會“吸引”掉對照組中的運力，導致一個“優勝劣汰”的現象。這種現象違反了傳統AB實驗的基礎假設——SUTVA（Stable Unit Treatment Value Assumption）。根據這一假設，每個實驗單元（可以是訂單、使用者或其他因素，具體取決於實驗設計）的結果不應受到其他實驗單元的影響。因此，在如此複雜的交易場景下，實驗結果容易產生偏誤。

　　一個相關的衍生問題是多層實驗的相互干擾。當大量實驗同時進行而流量有限時，非個體分流會使得多層實驗的正交性難以維持，進一步加大實驗結果的複雜性和偏誤。

　　2.2 價格場景

　　在貨執行業中，價格場景相關的實驗，如靈活計價、加價議價和高峰服務費等，也面臨著一系列挑戰。首先，和交易場景一樣，這些實驗也需要面對運力競爭的問題。其次，個體差異化定價受到諸如政策和法規等外部因素的限制，這進一步增加了個體分流的難度。

　　當採用更粗顆粒度進行分流以降低實驗偏差時，這通常會導致實驗單元數的減少。雖然這種做法能減少某種程度的偏差，但它也不可避免地增加了實驗結果的方差。具體來說，這可能會導致實驗組之間的同質性難以維持，從而使得實驗效果不易達到顯著水平。

　　2.3 營銷場景

　　在營銷場景下，特別是在普遍補貼率相對較低的條件下，各實驗組之間的使用者特徵和兌券依從率等因素存在顯著差異。當這些大幅度的內部差異和理論上較小的實驗效果相結合時，就容易導致實驗結果不顯著或甚至出現反常識的倒掛現象。解決這類問題需要採用科學的衡量方法來糾正潛在的偏誤。

　　除此之外，營銷場景下也常面臨著全量干預的問題，如拉貨節等大型促銷活動。在這些情況下，往往沒有設定實驗組和對照組進行傳統的AB實驗，而只能依賴時序的觀察性資料。如何從這種觀察性資料中準確抽取因果關係，也成為了一個重要而具挑戰性的任務。

　　2.4 產品場景

　　產品場景，主要涉及到App端和小程式端的功能改進和使用者體驗（UX）最佳化等方面的實驗。這一類實驗面臨的主要挑戰是，其涉及的指標不僅數量眾多，而且很零散，此外，這些功能實驗通常相對孤立，難以形成系統性的評估。

　　具體而言，當涉及多個頁面和多個指標時，實驗設計的複雜性急劇增加。這不僅涉及如何科學地定義和衡量實驗效果，還需要解決如何在業務層面上合理解釋這些複雜和多元的資料。這裡的複雜性不僅是技術性的，也包括如何與業務目標和使用者體驗保持一致性。

　　因此，在產品場景下進行實驗不僅要求精準的資料分析技巧，也需要跨部門的合作，以確保實驗結果不僅科學，而且能夠應用於實際業務決策。

　　貨運雙邊市場的挑戰總結

　　為了更直觀地總結貨運雙邊市場中的實驗問題，我們將透過一張圖來一目瞭然地展示這些挑戰。

　　透過這張圖，我們也希望能引導大家深入探討這些複雜挑戰的解決方案。

　　03

　　PART THREE

　　貨運實驗技術方案

　　對應以上四大挑戰，我們提出了一套綜合性的技術方案。該方案遵循四大原則，並結合多種方法，旨在實現清晰、科學、可解讀的干預效果。

　　四大原則：

　　- 分流：實驗分流要科學權衡

　　- 同質性：實驗分組差異要小

　　- 效率：效率解讀效率要高

　　- 非實驗：非實驗效果可衡量

　　3.1 實驗分流

　　當面對個體分流不適用的問題時，我們採取了簇分流的策略。在這種方法中，實驗參與者被劃分到更粗粒度的單元（稱之為“簇”）內，從而最大限度地減少了不同簇之間的相互干擾。這確保了簇內所有參與者受到相同型別的實驗干預，有助於減少實驗結果的偏差。

　　在選擇簇的時候，我們會根據實驗內容和目標進行全面評估。通常所選擇的簇涉及多個維度，包括時間和空間，有時甚至會是時間和空間的複合組合。一個具體的例子是我們提出的先進實驗方案：“城市群按天輪播”。這個方案結合了時間和空間的因素，以確保實驗偏差降到最低，同時也降低了實驗效果的方差，使得實驗結果更為準確和靈敏。

　　在實驗分流中，另一個關鍵策略是層間正交。為了確保不同實驗之間的獨立性，我們引入了個體層間正交和時間片層間正交這兩種方法。具體操作上，我們在個體或時間片這兩個層面設定多個層級，並透過級聯的方式，將不同實驗的流量均勻地組合在一起。

　　這些精心設計的分流策略使我們能夠更有效地應對貨運雙邊市場中的複雜挑戰，從而得出更可靠和有實用價值的實驗結果。

　　3.2 實驗同質性

　　實驗同質性是科學實驗中一個不可忽視的要素。理想狀態下，實驗組和對照組在實驗前應是完全同質和可比較的兩組，以便確保觀測到的任何指標差異都是由實驗干預引起的。然而，在複雜的貨運雙邊市場環境下，確保完全的同質性並不總是那麼容易。

　　為了應對這一挑戰，我們採用了多種方法來最大程度地確保群體的同質性。在實驗前，我們通常進行AA測試和尋找最優分組方案來驗證和保障群體的同質性。如果在實驗後發現存在同質性的偏差，我們也有相應的修正措施。例如，我們會使用CUPED（Controlled Experiments Using Pre-Experiment Data）或DID（Difference-in-Differences）等統計方法，結合實驗外的協變數資訊，來校正這些偏差。

　　透過這一系列嚴謹的步驟，我們能更有效地控制實驗中的變數，從而提高實驗結果的準確性和可信度。

　　3.3 實驗解讀

　　實驗解讀是完成整個實驗過程後非常關鍵的一步，它決定了實驗能否達到預期的目標。為了確保解讀的準確性和權威性，我們採取了多方面的措施。

　　首先，我們構建了一個全面的指標體系，旨在使得指標更加權威和標準化。這不僅提供了一個清晰、一致的評估框架，還方便了跨部門、跨團隊的溝通和理解。

　　其次，我們建立了支援這一指標體系的資料模型。這個資料模型作為指標體系的後端支援，確保了資料準確性和一致性，從而讓實驗結果更具說服力。

　　第三，我們制定了一套詳細的實驗和報告的SOP，涵蓋了多個部門和層面。這樣做不僅使得實驗流程更加規範和高效，而且也確保了實驗報告能自動化、平臺化和標準化地解讀。

　　除此之外，顯著性檢驗也是實驗解讀中的一個核心組成部分。顯著性檢驗的主要目的是確定實驗效果是否具有統計意義，而不僅僅是隨機波動所導致的。因為不同指標和實驗方式對顯著性檢驗的需求各不相同，我們在構建指標體系的同時，也開發了一個全面的顯著性檢驗體系，以適應實踐中各種不同型別指標的解讀需求。

　　透過這些多維度的努力，我們確保了實驗結果不僅準確，而且能夠提供深入、全面的洞見，從而更好地指導實踐。

　　3.4 觀察性研究

　　在不能進行AB實驗的情況下，觀察性研究通常成為評估干預效果的重要手段。這種研究方式不依賴於實驗和對照組的隨機分配，而是利用現有的資料來進行因果關係的推斷。雖然它可能沒有隨機控制實驗那樣精確，但在某些限制性條件下（如政策法規、成本、時間等因素限制）它依然能提供有用的洞見。

　　觀察性研究的難點在於如何準確地控制所有潛在的混雜變數，這些變數可能同時影響干預和結果。因此，在這種研究設定中，資料和干預的形式尤為關鍵。

　　總體來說，觀察性研究在不能進行傳統實驗的多種場景中都是一個有價值的工具。透過精心設計和嚴格執行，它可以提供關於干預效果的有價值的資訊，從而輔助決策和策略最佳化。

　　 總結 SUMMARY

　　總而言之，貨運雙邊市場作為一個充滿活力的領域，具有很多獨特的特性。然而，這也帶來了實驗設計和解讀方面的一系列挑戰，涵蓋了交易、價格、營銷和產品等多個場景。

　　透過本文的詳細探討，我們深入理解了這些挑戰，並提出了相應的技術方案，以實現更清晰、科學、可解讀的實驗。

　　在後續推出的一系列文章中，我們將更具體地分享在實踐中如何應對這些挑戰，以及如何透過創新的方法達到更高效、更準確的貨運雙邊市場實驗結果。

　　敬請關注我們的後續文章，一同探索這個充滿機遇和挑戰的領域！