“我們做了測試了，然後失敗了。”
這個說法在A/B測試的世界中出現的頻率那是相當的高，但它忽略了一個事實，一個概念本身與概念的執行有著本質上的不同。想法經常隨著時間重現。一個以前失敗過的人往往被貼上失敗的標籤，他們永遠不會走出新的大門。
是的，我想到多年以前…雖然做過嘗試，但沒什麼卵用。
如果不檢查，這種快速擊倒的心態可能是有害的。因為 Booking.com 已經進行了大約十年的A/B測試，有時似乎一切都已經嘗試過了。雖然我們做了很多，失敗了很多次，並且也贏了很多次，但對於客戶在我們網站上的體驗，依然有很大的改進空間。這就是為什麼我對這種無情的陳述的反應通常是，“好吧，那麼…你到底試過什麼，多久之前試過的？”
他們的A/B測試是否以類似的方式接近整體思路，提出新的方法？如果是，它執行了多長時間？它是如何影響使用者行為的？他們能否110％確定在其實施中沒有引入錯誤或可用性問題？
失敗總比成功多。
當我聽到一個堅實的概念失敗時，我會有一個問題列表。這個列表源自我的經驗，導致失敗的方式比導致成功的方式多得多。
這種說法是相當悲觀的，並有充足的理由。我已經做了足夠多的A/B測試（從生成初始概念到從堅實的技術角度實施它），以掌握可能導致好主意消失的運動部件的數量。
一個細節上似乎“無關緊要的變化”或一個難以識別的設計缺陷可能產生的負面影響，足以抵消你的改變可能造成的積極影響。
這裡有一些可以使好主意失敗的具體例子：
由於不太理想的技術實施，增加了頁面載入時間
你新增了一些大圖片，重CSS，或一些表現不佳的JS？你有沒有注意到任何可能出現的新錯誤？
密切關注所有重要的網站統計資訊，因為對使用者的“不可見”更改與內容和視覺更改一樣重要。
關鍵元素上的顏色，字型或字型大小選擇有誤
最重要的資訊足夠醒目和清晰嗎？
即使是像把字型用錯地方這樣看似無關緊要的事情也可能產生負面影響。
與頁面上其他內容相關的功能項的大小或位置不正確
你新增或重新設計元素時是否注意了頁面上的另一個關鍵元素？你是否刪除了其他內容來為新功能“留下空間”？
你無法在網頁上新增，刪除或更改任何內容，而不影響使用者與其他內容的互動方式。設計師傾向於密切關注他們正在做的新東西，但忘記了他所改變的元素周圍以前是什麼樣子的。
時機不對
你實現了在一定時間後消失的工具提示嗎？你新增的內容在一年的某個特定時間內是否有意義？
顯示某些型別的資訊太早，太晚，或者沒有給人足夠的時間吸收內容有時可能與你預期的效果相反。
邊緣情況下的錯誤
在較少使用的瀏覽器或裝置中是否存在渲染問題？它只是在平板電腦上可用，但是當它出現在桌面上呢？如果網站是多語言的，全部都翻譯正確並正確本地化了嗎？
如果足夠多的這些邊緣情況組合在一起，它們的累積效應可能是負的。然而，這是全面的A/B測試框架的好處之一！你可以使用分析來檢視潛在的使用者代理，瀏覽器型別和測試失敗的國家/地區。每個使用者都應該在你的網站上有一個良好的體驗，並解決你在資料中識別的這些問題可以推動結果超越邊緣。A/B測試可以幫助確保每個使用者的高品質。
做出與原始概念沒有內在聯絡的大的，小的和/或不必要的改變，可能具有意想不到的後果
你改變了一行文字，是否同時也使字更大/更小或新增了新顏色？
如果是這樣，那麼你汙染了你測試的概念。我已經看到字型大小略有增加，而測試顏色變化導致堅實和可重複的概念失敗。
嘈雜的跟蹤
你是否正在測試新流程或不同的互動？你要新增或更改的內容是否會立即顯示在網頁上？
僅在使用者實際受到視覺變化或與包含不同行為的元素互動時跟蹤使用者。如果你跟蹤的人沒有看到或使用你測試的概念，那麼他們就成為統計噪聲並稀釋結果。跟蹤中有太多噪音的話，你就無法聽到使用者嘗試告訴你的內容。
誰是受眾？
誰會看到這種變化？它暴露給所有的訪客嗎？對來自電子郵件的訪客將看到什麼會設定一定的期望嗎？他們是來自付費廣告還是自然搜尋？他們是否直接輸入了網址？他們是新訪客還是回頭客？他們以前曾經購買過嗎？
客戶的進入點及其對網站的歷史使用會影響他們如何與內容進行互動。你能夠將訊息定位到最相關的使用者越多，你就越有可能建立有意義的互動，使指標移動。
低流量 你的測試是否只對一小部分使用者暴露了比較微小的變化？
要在低流量網站上得到統計顯著的結果，你的更改需要更大，更大膽才能看到效果。換句話說，你的想法可能實際上有效，但你只是不能看到它的統計數字。你所做的更改的大小需要與你擁有的流量有關。
超前的想法？ 你什麼時候測試這個概念？一段時間過去了，但問題還沒有解決？
今天沒生效的可能會在明天有效果，昨天有效的可能會把你帶回到今天。
我們設計的產品必須像設計產品的人一樣動態。
人是動態的，他們的期望隨著他們和他們周圍的世界的變化而變化。這就是為什麼我們設計的產品必須同樣動態。
設計師可能傾向於引領潮流，因為我們實時關注著發展脈搏。設計趨勢，最新的 HTML 和 CSS 技巧，以及奇特的技術整合可能看起來很酷，但大多數時候，我們的期望與典型使用者感覺到舒適的差別很大。
我們正在設計的產品是為了正常人今天的使用。
我總是試圖提醒自己，我正在設計產品為了正常人今天的使用。
去年不習慣滑動手勢的人可能期望今年看到他們。幾年後，隨著硬體變得越來越強大，過去引發瀏覽器崩潰的風騷的幾行程式碼就可以解決這個問題。
這些只是我在設計資料時遇到的最常見的幾個問題。
這就是為什麼對你所測試的概念有一個高段位的深入理解，對系統的複雜性，以及無瑕疵的實施解決方案的牢固把握，是一個想法最終成功（或失敗）的必要條件。
以下是在你設定下一個A/B測試時要記住的一些事項：
1、記住仔細地通過複雜性來檢驗你的概念的重要性。
2、結果，無論是積極，消極或中立，可以幫助形成相同概念的未來迭代，或可以為你提供對待測試的新假設的洞察。
3、保持自己對質量的高標準，即使在容易的情況下。
4、每個A/B測試，無論大小或範圍，應該得到相同的關注。
5、理解一個負的或中性的結果不一定意味著“不”。這些結果也可能意味著“不太對”或“還不完全”，你測試得越多，你就越能發現“不”實際上意味著“不一定”。
等等！還有更多…
然而，有時，一個概念是如此強烈，它可以生存，即使在最糟糕的情況。我相信你已經經歷了主要網站上的特性或功能的例子，這些功能非常有用，但缺乏視覺細化和/或有一些不幸的可用性問題。這往往導致我有一個面對的時刻。
有時拙劣的實施會阻止一個好主意的成功。相反，一個好想法可以成功，儘管執行不好。
所以，就是這兩面。有時一個糟糕的執行阻止一個偉大的想法成功，但有時一個偉大的想法會成功，儘管實施很隨意。
“平均”和“例外”之間的區別讓資料驅動設計師意識到“概念 ≠ 執行”。
本文由Zoran@吆喝科技編譯自：https://blog.booking.com/concept-dne-execution.html