火山引擎DataTester：A/B測試，讓企業擺脫廣告投放“亂燒錢”

　　我知道在廣告上的投資有一半是無用的，但問題是我不知道是哪一半。——零售大亨約翰·沃納梅克

　　這句經典名言，被稱為廣告界的哥特巴赫猜想，它道出了廣告效果衡量的難點，同樣也擊中了無數廣告主的痛點——企業有一半廣告費都是被浪費掉的。

　　廣告投放的效果很多時候常與玄學畫上等號，但卻也是公域營銷不可或缺的一環。科學的衡量廣告的效果，適時做出策略調整最佳化轉化率，一直既是業界的重點、熱點、難點。

　　如何讓企業在廣告投放上的每1塊錢都花在刀刃上？火山引擎DataTester或許可以交出一份高分答卷。

　　DataTester是位元組跳動內部應用多年的A/B實驗平臺，2020年透過火山引擎面向外部企業開放服務。平臺自建立至今，承載了位元組500餘個業務線的A/B實驗任務，累計已開展過150多萬次實驗。

　　廣告實驗是DataTester的一大特色能力之一。DataTester基於自身在因果推斷和統計科學方面的深刻積澱，結合位元組內部使用者增長以及廣告演算法建設的諸多實踐，探索出了很多行之有效的廣告效果衡量方法和提升策略。

　　本文將分享DataTester在廣告投放場景下的實踐經驗。

　 　01 A/B實驗能提升廣告投放效率？

　　在網際網路時代，企業該如何做好廣告營銷，持續驅動盈利增長呢？

　　從對位元組跳動多年的業務總結來看，實踐給出的方法論指向是：50%靠創意，50%靠營銷科學。

　　在廣告投放的場景下，一線廣告最佳化師通常會建立多個計劃，去測試不同的廣告素材效果。這套方法看似科學，實際上卻問題多多：

　　廣告計劃過量，會對流量造成相互擠壓爭搶，流量無法平均分配，就難以獲取科學的效果對比資料；

　　廣告受眾沒有實現隔離，如果同一使用者可以看到多組廣告，則測試結果無法保證科學性；

　　廣告計劃過多，會搶佔寶貴的營銷經費配額，並浪費廣告最佳化師大量人力；

　　這些問題導致廣告投放時，企業浪費了大量的時間精力和金錢，也未必能得到科學量化的有效結論。

　　而透過科學的A/B實驗，可以確保在廣告投放中，實現精準的流量分配、受眾隔離，獲取最為科學的資料統計結果；與此同時，在多個廣告計劃建立的過程中，效能優越的A/B實驗平臺可支援方案的智慧化設定，節約大量人力。

　　廣告方案設計：可根據A/B實驗的效果選出優秀方案

　　廣告效果驗證：透過A/B實驗可以達成“快準穩”的效果檢測，讓大膽創新、快速試錯成為可能

　　廣告問題定位：透過A/B實驗可以快速定位投放效果不佳的問題原因，避免低效而昂貴的錯誤迭代　　

　　總結來說，科學的AB實驗平臺，能夠確保廣告在方案設計、人群選擇、渠道定位等每個決策環節，都能獲得正向的收益，從而在廣告投放時，產生正向反饋越滾越大的複利效應。

　　 02 位元組跳動的廣告最佳化經驗分享

　　位元組跳動副總裁、演算法和資料技術負責人楊震原曾在火山引擎A/B測試開放日中講述過，“位元組跳動成立之初，今日頭條就在做策略推薦類的A/B測試。2016年正式建立了支援大規模產品試驗的A/B測試平臺（DataTester），之後陸續接入抖音、西瓜影片等全線業務，把A/B測試應用在產品命名、互動設計、推薦演算法、使用者增長、廣告最佳化和市場活動等方方面面的決策上。”

　　位元組是一家有著深厚A/B實驗基因的公司，廣告實驗是DataTester全域營銷場景下的重要一環。

　　針對企業在營銷場景上的諸多痛點，如人工實驗操作繁瑣，廣告效果難度量、最佳化無從下手；效果資料來源分散，人工分析費時費力；投放嚴重依靠人工經驗，一線最佳化師徹夜盯盤、精疲力盡...等等問題，DataTester提供了全套的廣告最佳化解決方案：

　　實驗智慧化調優：基於業界一流統計學專家的演算法模型，依照廣告效果動態分配流量，實現收益最大化。

　　打通前後鏈路資料：支援主流廣告渠道的監測能力，實現了後鏈路資料的打通，助力更科學的效果歸因。

　　打通人群資料：支援與CDP人群管理平臺深度打通，廣告可實現基於使用者標籤和人群畫像的精準投放。

　　跨渠道廣告投放能力：整合包括巨量引擎在內的主流廣告投放平臺，實現一站式廣告素材創意管理、批次廣告建立投放、多渠道廣告效果監測。

　　整合建站平臺：與多個建站工具深度合作，打造廣告落地頁搭建和A/B實驗建立的無縫體驗，大幅降低實驗門檻。　　

　　點選檢視大圖：DataTester全域營銷場景解決方案

　　針對具體不同的場景，DataTester提供了拆分對比實驗、落地頁最佳化實驗等多種實驗型別，方便使用者更加便捷地基於實驗進行迭代：

　　素材拆分對比實驗：判別更有爆款潛力的廣告素材

　　人群拆分對比實驗：判別與產品廣告更匹配的人群

　　增效度量實驗：透過人群分流+問卷投放兩種形式結合，評估品宣效果

　　H5落地頁最佳化實驗：判別營銷頁面轉化效率　　

　　DataTester廣告實驗的幾種細分型別

　　 03 DataTester廣告實驗的特色優勢

　　基於10年的技術經驗打磨，DataTester A/B實驗平臺已經做得極為易用，廣告投放實驗支援透過視覺化的手動拖拽等形式，自主編輯實驗版本，並獲取資料包告。

　　沒有研發團隊的企業，以及沒有程式碼經驗的廣告分析師，也可以快速上手使用。　　

　　廣告實驗作為DataTester在全域營銷場景的重要解決方案之一，也打磨出了一些獨具優勢的核心能力。

　　1. 爆款廣告智慧創作能力

　　“爆款素材稀缺”、“起量難”是廣告主最常見的痛點。作為資訊流廣告的核心——素材的優質程度，是決定廣告能否起量的關鍵。

　　近年來創意素材的生產數量爆發性增長，在巨量引擎平臺中，每天新增的影片廣告創意素材有70萬條，還不包含平臺上的存量素材數量。

　　DataTester與火山引擎的智慧創作雲合作打通，可提供10餘款簡單易用的創作工具，無需人工剪輯，智慧批次化生成各類具有“爆款基因”的廣告素材。使用者不需要有各類專業軟體的使用能力，即可建立廣告素材並開啟A/B實驗。

　　2. 分流技術深度融合廣告演算法

　　隨著資料驅動科學增長的理念在國內漸火，市面上聲稱能“幫助廣告主對廣告投放進行演算法最佳化”的三方服務商越來越多，其中不乏聲稱能夠進行A/B實驗的廠商。

　　然而，基於A/B實驗的基本原理，真正科學可信的A/B實驗離不開對流量的精準控制和科學分流。但當今主流大型廣告平臺，由於在廣告推薦演算法中嵌入實驗分流的技術複雜性，很少能夠做到向三方提供完備的分流能力。

　　因此，市面上多數三方服務商提供的所謂廣告投放A/B實驗能力，更可能是徒有其表，噱頭成分偏多，其資料偏差之大並不足以支撐得出可信的實驗結論。　　

　　如圖為極度簡化版的廣告平臺分發流程，大型廣告平臺的實際流程會複雜得多。

　　火山引擎DataTester基於位元組跳動在抖音、今日頭條等資訊流產品中的多年實踐經驗，探索出了很多行之有效的廣告效果科學度量和提升策略，可以完成面向大規模人群的精準分流。

　　人群隔離：DataTester可確保實驗中的不同實驗物件不會展示給同一使用者，一個使用者最多隻能看到實驗中的一個計劃廣告方案；

　　競爭公平：DataTester可為多種廣告計劃提供公平的競爭環境，避免實驗中計劃相互擠壓、搶量，讓每一個廣告方案都獲得同等量級的曝光機會；

　　報告置信：在收集到充足的實驗資料之後，DataTester將智慧化生成分析報告，並確保資料具有統計效力，以精確披露在實驗中獲勝的廣告計劃或素材。　　

　　3. 廣告頁搭建可無縫銜接A/B實驗

　　廣告網站或落地頁轉化率，是會因為頁面上元素的細微差別，而產生巨大差距的。例如按鈕位置的交換、顏色的改變、順序的調整等，均能造成轉化率的增長或降低。此時，A/B實驗就是驗證最優版本的科學工具。

　　DataTester已與橙子建站等多個廣告落地頁建站平臺深度合作，在企業完成廣告落地頁搭建後，即可無縫開啟A/B實驗，大幅降低實驗建立門檻。　　

　　4. 實驗智慧流量調優能力

　　開啟實驗前，哪一個版本的方案表現更好通常未知。傳統的A/B實驗平臺，依賴於統計顯著性的經典假設檢驗，為對照版本和實驗版本分配等額流量，一般不允許在實驗期間變更每個子版本的流量。

　　因此此類實驗缺陷比較明顯 —— 即便已發現實驗版本明顯優於對照版本，實驗期間還需要在對照版本上繼續花費時間流量，直至整場實驗結束。

　　而DataTester除去提供上述“常規實驗”能力外，也同時可提供“MAB實驗”實驗型別選擇。

　　“MAB實驗”是智慧調優實驗，實驗方案可以直接線上上進行，DataTester將根據實時資料反饋，智慧調節實驗方案的流量分配，給廣告收益效果好的方案傾斜更多的流量，幫助企業收益最大化。

　　與傳統的A/B實驗相比，以下幾種場景適用MAB智慧流量調優實驗：

　　促銷優惠：此類場景更關注提高轉化率。MAB智慧實驗在促銷期間，會將更多流量傳送給效果較好的變體，而將較少流量傳送給效果欠佳的變體，幫助企業儘快拿到收益點。

　　推送策略：推送文案/標題為生命週期較為短暫的內容。固定的活動期間後，會失去相關性。因此採用MAB智慧實驗，可以使策略最大程度地儘快發揮效用。

　　落地頁最佳化：同時上線幾種不同版本的落地頁方案，實時最佳化落地頁的點選和轉化率。

　　 結語

　　DataTester融合了位元組跳動了多年在業務增長、轉化、產品迭代，策略最佳化，運營提效等環節的增長理念，是一款效能強大、使用便捷的A/B實驗產品。

　　在廣告投放場景上，DataTester基於多年的打磨和迭代，可支援廣告從製作到投放，到最終效果收集的全鏈路場景實驗需求，並能夠與位元組系產品及平臺深度打通、相互結合應用。

　　此外，DataTester也能夠深度耦合推薦、搜尋、UI、產品功能等其他多種業務場景需求，為業務提供科學的決策依據。目前，火山引擎DataTester已經服務了美的、得到、凱叔講故事等在內的上百家標杆客戶，將成熟的 " 資料驅動增長 " 經驗賦能給各行業。