我們都期望自己的點子被欣賞，自己的事業扶搖直上；在這段過程中，我們需要不斷嘗試每個環節的最佳作法，此時就可以考慮使用 A/B Testing 來進行實驗，以便獲得客觀的數據來評估不同版本的設計何者較佳。所謂的 A/B Testing，簡單來說，就是指定一個變因來設計實驗組與對照組，然後觀察其成效，幫助我們做出決定。
為什麼要懂 A/B Testing？
在經營事業的這條路上，我們必須面臨無數個大大小小抉擇，而進行 A/B Testing 其實就是設計一個實驗，得到客觀的數據以支持決策。備受推崇的創業書籍《精實創業》中，所強調的也正是一種實驗精神，因為透過實驗，我們才能避免被個人好惡跟過去經驗牽絆，並且從實驗結果中不斷學習、成長。而在網路環境中，我們可以較方便地控制變因並且蒐集數據，也就更容易進行 A/B Testing 了。 這邊舉一個 A/B Testing 的成功案例供大家參考。現今的遊戲業，許多單機電腦遊戲已經不再透過實體通路販賣，而是透過網路即可付費下載，網站成為了一個很重要的通路。美商藝電（Electronic Arts）是一間世界知名的遊戲公司，擁有許多狂銷全球的賣座作品，模擬城市（SimCity）便是其中之一。在規劃模擬城市的購買、下載頁面時，他們進行了一連串的 A/B Testing，把促銷訊息的 Banner 調整了不同的顏色、設計、位置並進行測試，結果其中一個版本－乾脆把 Banner 移除的版本－讓轉換率大幅提昇，從原來的 5.8% 變為 10.2%！原本以為促銷訊息可以提昇使用者的購買誘因，實驗卻顯示了相反的結果。
好像不錯...那要怎麼做 A/B Testing？
在規劃 A/B Testing 時，我們首先要先建立一個假設，其中包含了變因跟結果兩個元素。舉例來說，如果我們認為在首頁上較大的圖片較易吸引消費者注意力、進而提昇轉換率，那麼變因就是不同尺寸的圖片，而衡量結果的方式可能就是觀察轉換率是否有提昇。 實驗中的變因可以有很多種，可能是圖片的尺寸、設計，按鈕的大小、文字、色彩，網頁中的標題、文案，電子報的標題、版面配置、寄件者名稱...等等。A/B Testing 並不限於只做 AB 兩個版本而已，只要鎖定同一個變因，要做 CDEFGH 版都可以的。除了拿來實驗的變因之外，其他的條件要維持一致，以避免受到其他因素干擾；實驗組跟對照組要同時在線上進行測試，也是這個原因。 衡量結果的方式，有時候不會只有單一指標而已，而是必須同時觀察多個指標。舉例來說，在測試哪個廣告版本比較有效時，不只是要看點擊率，也必須觀察後續的轉換率、註冊率等等；此時可能就要先決定不同指標的權重。至於要選擇什麼指標？必須選擇跟自己事業目標、網站目標有關的指標，如果不知道怎麼選擇，可以參考我的前一篇文章：新創事業一定要掌握的成長指標－AARRR Metrics，可以找到一些可能的方向。
如果要能判斷出哪個版本較好，必須在統計上有"顯著的差異”，許多 A/B Testing 工具都會幫你計算並建議測試的時間長度，或者幫你判斷目前的實驗結果到底有沒有顯著的差異。這邊不打算談統計，簡單來說，流量越大、參與實驗的版本越少、分配到測試版本的流量比例越高（一般可能是1%~10%），那麼所需的時間就越短。測試的時間基本上會以週為單位，以避免平日、週末帶來的影響。
首先網站必須要設定好流量追蹤工具，像是 Google Analytics，以便追蹤不同版本的流量結果。再來就必須選擇合適的測試工具，這些工具會幫我們將部分流量導到測試版本中，以便觀察實驗結果。除了自行開發之外，市面上也有許多選擇，免費的像是 Google Analytics，其他還有一些付費的選擇，像是 Visual Website Optimizer、Optimizely 等等；而像是 EmailChimp 在發送 Email Campaign 時，也可以自動進行 A/B Testing，十分方便。若是自行開發，要注意的是：同一個使用者在一次瀏覽歷程中，看到的應該要是同一個版本，避免混淆。
做了測試後，我們可以得知哪一個版本效果較佳，但其實並沒有告訴我們背後的原因，或者進一步該如何改進。如果我們假設圖片越大越吸引人，但是實驗結果卻相反，怎麼辦？這個時候就必須規劃進一步的研究，像是找使用者來進行深度訪談，觀察人們的實際操作行為...等等，去挖掘現象背後的原因。 此外，如果要測試的頁面同時有多個變因，就不適用 A/B Testing，而是要用多變量測試（Multivariate Testing）來進行。簡單來說，不同因子之間可能會互相影響，然後統計上需要更多的流量才能驗證。
把每次實驗過程、結果、心得記錄下來，除了報告用和檢討用之外，也可以考慮把實驗心得用在其他類似的地方，或是作為後續實驗的基礎。
網路世界比較好追蹤數字，所以 A/B Testing 十分興盛；不過非網路其實也可以做，像是印製不同版本的廣告傳單、不同版本的電視購物節目...等等，只要能妥善追蹤，測試樣本夠多，就可以嘗試看看。
A/B Testing 可以測試的不只是版面配置與設計而已，也可以針對不同的商品、不同的價值訴求、不同的通路、不同的價格方案...等較高層級的問題，去進行測試。
最後要提醒的是，如同前面所說，A/B Testing 無法告訴我們背後的原因，所以有時必須多多了解其他質化、量化研究方法，相輔相成。
今年 4 月，ALPHA Camp 全端網路開發線上實戰營的兩組學生，與 Gogoro 一起合作企業專案。學生們在短短 4 週內敏捷開發，結合企業需求和使用者體驗，加上學生本身的創意發想，打造出產品原型，是創新產學合作的優秀範例。