小編簡介：AB測試技術(shù)最早應(yīng)用于美國的互聯(lián)網(wǎng)市場，進(jìn)入國內(nèi)市場只用了6、7年的時(shí)間。 2000年前后，以谷歌為首的互聯(lián)網(wǎng)公司開始采用AB測試方法，利用數(shù)據(jù)幫助企業(yè)進(jìn)行決策管理，降低試錯(cuò)成本，促進(jìn)業(yè)務(wù)增長。 2010年后，AB測試開始呈現(xiàn)產(chǎn)品化趨勢，成為企業(yè)決策的重要工具。

今天給大家分享一下AB測試的基礎(chǔ)知識。

1.什么是AB測試？互聯(lián)網(wǎng)行業(yè)日新月異，很多產(chǎn)品每周甚至每天都會迭代。無論是產(chǎn)品優(yōu)化方向還是決策，都需要數(shù)據(jù)說話。

目前大多數(shù)產(chǎn)品迭代方式都是直接向所有用戶發(fā)布某個(gè)版本。一旦遇到線上bug或者數(shù)據(jù)性能不佳，就必須緊急修復(fù)或優(yōu)化功能，有時(shí)甚至需要回滾到之前的版本。

這對用戶體驗(yàn)和項(xiàng)目進(jìn)度都有很大的影響。如何解決這個(gè)問題呢？

AB測試可以很好的避免這個(gè)問題。所謂AB測試，就是在正式發(fā)布之前將用戶流量分成幾組，讓用戶分別看到不同的程序設(shè)計(jì)，并根據(jù)幾組用戶的真實(shí)數(shù)據(jù)反饋來驗(yàn)證數(shù)據(jù)效果。

如果新版本數(shù)據(jù)沒有問題，可以考慮向所有用戶發(fā)布新版本，這樣可以有效降低所有在線用戶發(fā)生意外的概率，提高用戶體驗(yàn)。簡單理解，其實(shí)就是初中的對照實(shí)驗(yàn)。一組是對照組，另一組是實(shí)驗(yàn)組。

哪些場景更適合AB測試？

2、AB測試的應(yīng)用場景AB測試通常用于以下場景：

1.UI優(yōu)化這是一個(gè)比較常見的場景。

與功能設(shè)計(jì)不同的是，它有很多邏輯思想，往往可以確定哪個(gè)解決方案是好的，哪個(gè)解決方案是壞的。 UI優(yōu)化往往非常“藝術(shù)”。在看到真實(shí)的數(shù)據(jù)之前，往往任何人都很難解釋哪種設(shè)計(jì)能夠帶來更好的數(shù)據(jù)效果。如下所示：

上圖顯示了顏色變化。這種情況下，通過AB測試來完成最終的解決方案是比較合適的。

2、文案改動其實(shí)和UI層面的優(yōu)化非常相似。 [立即申請] 或[立即申請] 是同一個(gè)按鈕嗎？

如何決策，就交給AB測試吧~

3、頁面布局頁面布局主要是指同一頁面上不同元素的排列方式。

4.算法優(yōu)化算法優(yōu)化也應(yīng)該是AB測試的一個(gè)重要場景。

上線之前的算法基本上都是根據(jù)歷史數(shù)據(jù)來訓(xùn)練和構(gòu)建的。本地模型再好，上線后也未必表現(xiàn)良好。只有在線才是檢驗(yàn)算法有效性的決定性標(biāo)準(zhǔn)。

但上線后的效果誰也不敢保證吧？這時(shí)候，做一些小流量的AB測試是一個(gè)非常好的、萬能的選擇。

3. 流量分配還討論了AB 測試的基本概念。最重要的概念之一是用戶流量分組。實(shí)際實(shí)現(xiàn)時(shí)，允許用戶按照一定的規(guī)則隨機(jī)訪問某個(gè)版本。那么流量應(yīng)該如何分配呢？

關(guān)于流量分配，主要有兩點(diǎn)：同層互斥分配和分層流量正交。

1.同層的互斥分配。每層擁有所有流量。在同一層中，多個(gè)實(shí)驗(yàn)共享100%的流量，實(shí)驗(yàn)之間的流量互斥。例如，在同一層中，測試1占用了40%的流量，測試2最多只能使用60%的流量，以此類推。

有如下示意圖：

同時(shí)運(yùn)行多個(gè)實(shí)驗(yàn)時(shí)，如果希望測試結(jié)果盡可能準(zhǔn)確，并保證實(shí)驗(yàn)互不干擾，建議將實(shí)驗(yàn)建立在同一層，且同一用戶這一層只輸入一個(gè)實(shí)驗(yàn)。

2.分層流量的正交分層意味著重用用戶流量。如果測試1 和測試2 使用不同的層，則測試1 和測試2 都可以分配最多100% 的流量。在這種情況下，同一用戶將同時(shí)進(jìn)入試驗(yàn)1 和試驗(yàn)2。

當(dāng)兩次測試處于不同級別時(shí)，需要保證測試內(nèi)容互不相關(guān)，否則測試數(shù)據(jù)會受到干擾。

當(dāng)前平臺中的每個(gè)實(shí)驗(yàn)都是一個(gè)獨(dú)立的實(shí)驗(yàn)層。當(dāng)一段流量經(jīng)過每一層實(shí)驗(yàn)時(shí)，會被隨機(jī)打散重組，保證每一層的流量相同。

例如：假設(shè)我現(xiàn)在有兩個(gè)實(shí)驗(yàn)。實(shí)驗(yàn)A（實(shí)驗(yàn)組標(biāo)記為版本A1，對照組標(biāo)記為版本A2）分布在實(shí)驗(yàn)層1，占用該層流量的100%；實(shí)驗(yàn)B（實(shí)驗(yàn)組標(biāo)記為版本A2）為B1，對照組標(biāo)記為B2）分布在實(shí)驗(yàn)層2，也使用了該層100%的流量（需要注意的是，實(shí)驗(yàn)組Layer 1和實(shí)驗(yàn)Layer 2實(shí)際上是同一批用戶，實(shí)驗(yàn)Layer 2只是復(fù)用了實(shí)驗(yàn)Layer 1流量）。

如果將A1組的流量分成兩半，一部分放入B1組，另一部分放入B2組； A2組的流量也被分成兩半，一部分放入B1組，另一部分放入B2組。那么兩個(gè)實(shí)驗(yàn)的流量調(diào)用就會如下圖所示。此時(shí)，實(shí)驗(yàn)A和實(shí)驗(yàn)B之間的流量是“正交”的。

關(guān)于AB測試，今天先分享這些。下一篇文章將分享業(yè)界對AB測試系統(tǒng)的調(diào)查，看看各大廠商如何將AB測試商業(yè)化。

本文最初由@冬至發(fā)表在《人人都是產(chǎn)品經(jīng)理》上。未經(jīng)作者許可禁止轉(zhuǎn)載。

題圖來自Unsplash，基于CC0許可證。