A/BTest，個(gè)人中心首頁(yè)改版實(shí)驗(yàn)分析報(bào)告

時(shí)間：2023-04-26 01:57:01 | 來(lái)源：網(wǎng)站運(yùn)營(yíng)

時(shí)間：2023-04-26 01:57:01 來(lái)源：網(wǎng)站運(yùn)營(yíng)

A/BTest，個(gè)人中心首頁(yè)改版實(shí)驗(yàn)分析報(bào)告：作者：JM，從0到1規(guī)劃過(guò)訪客日瀏覽量超千萬(wàn)的流量分析系統(tǒng)，曾為年銷(xiāo)售破百億跨境電商公司商業(yè)分析系統(tǒng)的產(chǎn)品負(fù)責(zé)人，現(xiàn)為廣告營(yíng)銷(xiāo)公司數(shù)據(jù)產(chǎn)品經(jīng)理。

工具：本篇文章分析工具為友盟+移動(dòng)統(tǒng)計(jì)（U-App AI版）、自有BI系統(tǒng)分析

關(guān)鍵詞：A/B Test

以下數(shù)據(jù)已進(jìn)行脫敏處理，非真實(shí)數(shù)據(jù)，僅供分析落地參考。

一、項(xiàng)目背景

為配合電商App的大改版，上級(jí)也對(duì)個(gè)人中心的界面風(fēng)格提出新的要求，因此也提出個(gè)人中心首頁(yè)改版的要求。

1.1 改版分析

個(gè)人中心首頁(yè)作為信息分流類(lèi)頁(yè)面，核心是快速將用戶(hù)導(dǎo)航到所需的的功能模塊。

其次，除了導(dǎo)航到不同的功能模塊，還提供商品推薦、引導(dǎo)郵箱驗(yàn)證等內(nèi)容（重點(diǎn)在于效果復(fù)盤(pán)，前期需求分析不做贅述）。

因此可以根據(jù)頁(yè)面的功能定位及現(xiàn)有提供的功能，制定本次改版目標(biāo)。

1.2 改版目標(biāo)

（1）優(yōu)化個(gè)人中心首頁(yè)的功能導(dǎo)航，使用戶(hù)快速找到相應(yīng)功能板塊，降低個(gè)人中心的平均停留時(shí)間。

（2）推薦產(chǎn)品改為鋪開(kāi)展示，增加個(gè)人中心首頁(yè)推薦位產(chǎn)品曝光量，提高個(gè)人中心首頁(yè)推薦位的交易量。

（3）郵箱驗(yàn)證新增積分獎(jiǎng)勵(lì)提示，促使更多用戶(hù)完成郵箱驗(yàn)證，提高用戶(hù)郵箱驗(yàn)證數(shù)。

1.3 實(shí)驗(yàn)方式

新舊版?zhèn)€人中心首頁(yè)同時(shí)在線，通過(guò)分流工具進(jìn)行流量劃分，保證實(shí)驗(yàn)中的新舊樣本數(shù)量基本一致。

1.4 實(shí)驗(yàn)時(shí)間

2018年11月16日-2018年11月29日

1.5 實(shí)驗(yàn)樣本

舊版會(huì)話(huà)數(shù)：500000；新版會(huì)話(huà)數(shù)：499999

頁(yè)面數(shù)據(jù)的對(duì)比是兩個(gè)版本同期在線，相近樣本數(shù)量下的數(shù)據(jù)表現(xiàn)。

交易數(shù)據(jù)的對(duì)比是改版前后新舊版本推薦位交易次數(shù)對(duì)比。

二、實(shí)驗(yàn)期監(jiān)測(cè)

AB實(shí)驗(yàn)期間，會(huì)根據(jù)既定的改版目標(biāo)，重點(diǎn)監(jiān)控AB版本核心指標(biāo)的對(duì)比情況，以便調(diào)整AB實(shí)驗(yàn)的分流策略。

為保證初期分流比例能使AB版本的測(cè)試會(huì)話(huà)數(shù)足夠多，避免因基數(shù)過(guò)小出現(xiàn)對(duì)AB實(shí)驗(yàn)結(jié)果的誤判，根據(jù)個(gè)人中心首頁(yè)近一個(gè)月的流量情況，設(shè)定初始實(shí)驗(yàn)流量比例為20%。

（即假設(shè)平均每日訪問(wèn)個(gè)人中心首頁(yè)的會(huì)話(huà)數(shù)有100000，那么20%的比例參與實(shí)驗(yàn)，每個(gè)版本每日分到的會(huì)話(huà)數(shù)就都是10000左右）。

2.1 平均停留時(shí)間

功能路徑：用戶(hù)洞察-事件分析-新建-頁(yè)面訪問(wèn)路徑

對(duì)應(yīng)指標(biāo)名：平均訪問(wèn)時(shí)長(zhǎng)

指標(biāo)含義：統(tǒng)計(jì)日期內(nèi)，用戶(hù)對(duì)該功能頁(yè)面的平均使用時(shí)長(zhǎng)情況；平均停留時(shí)間的大小本身并無(wú)好壞之分，根據(jù)具體場(chǎng)景評(píng)估平均停留時(shí)間大小的影響。

（以文章頁(yè)面為例，平均停留時(shí)間可能是越大越好；而對(duì)于導(dǎo)航類(lèi)頁(yè)面，用戶(hù)能多快就多快找到自己想要的東西，平均停留時(shí)長(zhǎng)是越小越好。）

2.2 退出百分比

功能路徑：基礎(chǔ)看板-功能使用-頁(yè)面訪問(wèn)路徑

對(duì)應(yīng)指標(biāo)名：跳出率

指標(biāo)含義：統(tǒng)計(jì)日期內(nèi)，該功能頁(yè)面是否會(huì)導(dǎo)致用戶(hù)退出使用產(chǎn)品；退出百分比的大小本身并無(wú)好壞之分，根據(jù)具體場(chǎng)景評(píng)估退出百分比大小的影響。

（以商品頁(yè)面為例，退出百分比是越小越好，該類(lèi)頁(yè)面的作用還是在流程指引上，并不是流程的終點(diǎn)，要盡可能避免造成用戶(hù)退出。

而對(duì)于支付完成頁(yè)面，用戶(hù)已經(jīng)達(dá)成既定交易轉(zhuǎn)化目標(biāo)，用戶(hù)可能會(huì)退出產(chǎn)品，退出百分比是越大越好。）

2.3 交易次數(shù)

功能路徑：基礎(chǔ)看板-功能使用-自定義事件。

前置工作：在后臺(tái)注冊(cè)后，然后在后臺(tái)成功注冊(cè)后再進(jìn)行埋碼，將“交易成功”作為事件埋點(diǎn)。

操作：點(diǎn)擊對(duì)應(yīng)事件的“查看”操作，即可進(jìn)行事件的趨勢(shì)分析。

2.4 郵箱驗(yàn)證數(shù)

同2.3，根據(jù)AB實(shí)驗(yàn)情況，效果達(dá)到預(yù)期優(yōu)化方向，因此在后續(xù)時(shí)間里，逐步放大實(shí)驗(yàn)流量比例。過(guò)程中效果也依舊達(dá)到優(yōu)化方向，直至完全放量，換下舊版本，換上新版本。

三、數(shù)據(jù)復(fù)盤(pán)

在全流量替換舊版本、上線新版本后，還需要監(jiān)測(cè)新版本效果一段時(shí)間。在這里選取了兩周作為效果觀察期，與實(shí)驗(yàn)前數(shù)據(jù)進(jìn)行對(duì)比校驗(yàn)。

效果觀察期間，數(shù)據(jù)反饋情況依舊達(dá)到優(yōu)化方向。因此，本次實(shí)驗(yàn)順利完成，為便于后期迭代，下面進(jìn)行改版的數(shù)據(jù)復(fù)盤(pán)。

3.1 數(shù)據(jù)概況

平均停留時(shí)間、退出百分比、郵箱驗(yàn)證數(shù)：數(shù)據(jù)取自U-App AI版，對(duì)比時(shí)間段為11.16-11.27。

交易次數(shù)：數(shù)據(jù)取自自研數(shù)據(jù)系統(tǒng)，對(duì)比時(shí)間段為11.05-11.13與11.19-11.27；28、29號(hào)數(shù)據(jù)由于樣式發(fā)生變化，所以不納入計(jì)算，已修復(fù)。

實(shí)驗(yàn)說(shuō)明：采用的是自研數(shù)據(jù)系統(tǒng)的AB實(shí)驗(yàn)功能，實(shí)驗(yàn)的新舊樣本數(shù)量相近，不考慮基數(shù)造成目標(biāo)次數(shù)的差異問(wèn)題。

從上面數(shù)據(jù)來(lái)看，已滿(mǎn)足改版的三個(gè)目標(biāo)：

1. 優(yōu)化個(gè)人中心首頁(yè)的功能導(dǎo)航，使用戶(hù)快速找到相應(yīng)功能板塊，降低默認(rèn)頁(yè)的停留時(shí)間。

從目前數(shù)據(jù)看，新版默認(rèn)頁(yè)平均停留時(shí)間為12.0s，相較舊版的18.0s降低了27%；同時(shí)頁(yè)面退出百分比也降低35%，下降為2.00%。

說(shuō)明改版在降低用戶(hù)頁(yè)面平均停留時(shí)間的同時(shí)，也并未造成更多用戶(hù)退出網(wǎng)站，反而是促使更多用戶(hù)持續(xù)訪問(wèn)網(wǎng)站，達(dá)成改版目標(biāo)。

2. 增加個(gè)人中心首頁(yè)推薦位產(chǎn)品的曝光量，提高默認(rèn)頁(yè)推薦位的成單量。

從目前數(shù)據(jù)來(lái)看，新版默認(rèn)頁(yè)交易次數(shù)為4,275，相較相鄰周期舊版的交易次數(shù)3,340次提高了28%；達(dá)成改版目標(biāo)。

3. 郵箱驗(yàn)證新增提示，促使更多用戶(hù)完成郵箱驗(yàn)證，開(kāi)啟積分模塊。

從目前數(shù)據(jù)來(lái)看，新版默認(rèn)頁(yè)郵箱驗(yàn)證數(shù)為3,755，相較舊版的郵箱驗(yàn)證數(shù)735次提高了511%，達(dá)成改版目標(biāo)。

3.2 頁(yè)面數(shù)據(jù)分析

3.2.1 訪問(wèn)情況







從上面二維表來(lái)看，在自研數(shù)據(jù)系統(tǒng)的控制下，參與實(shí)驗(yàn)的新舊版UV數(shù)相近，但PV數(shù)出現(xiàn)較大的差異：在相近的UV數(shù)下，新版的PV數(shù)比舊版的要高出13.04%，平均瀏覽量達(dá)到3.45。

這說(shuō)明參與新版實(shí)驗(yàn)的用戶(hù)會(huì)比舊版實(shí)驗(yàn)的用戶(hù)更高頻使用用戶(hù)中心，促進(jìn)用戶(hù)中心模塊的用戶(hù)活躍度提高。







功能路徑：基礎(chǔ)看板-功能使用-頁(yè)面訪問(wèn)路徑。

對(duì)應(yīng)指標(biāo)名：PV對(duì)應(yīng)“訪問(wèn)次數(shù)”，UV無(wú)對(duì)應(yīng)指標(biāo)。

指標(biāo)含義：PV即表示頁(yè)面的訪問(wèn)次數(shù)，UV表示頁(yè)面的訪客數(shù)，但這里缺少了頁(yè)面的UV統(tǒng)計(jì)，反應(yīng)不了訪客對(duì)頁(yè)面的使用頻率。

例如注冊(cè)頁(yè)面較平時(shí)的平均訪問(wèn)次數(shù)暴漲，可能是注冊(cè)流程存在流程使用障礙，如注冊(cè)成功返回不成功，引起用戶(hù)頻繁刷新，可能導(dǎo)致UV不變，但PV暴漲。

3.2.2 頁(yè)面質(zhì)量







由于個(gè)人中心首頁(yè)是定位于個(gè)人中心功能導(dǎo)航，所以在評(píng)判個(gè)人中心首頁(yè)的效率上，是從停留時(shí)間越短越好的角度出發(fā)（一定范圍內(nèi)）。

從上圖看平均停留時(shí)間：頁(yè)面平均停留時(shí)間波動(dòng)比較大，但新版?zhèn)€人中心首頁(yè)的平均停留時(shí)間大多時(shí)候都是比舊版的平均停留時(shí)間低，所以新版?zhèn)€人中心首頁(yè)達(dá)到了降低頁(yè)面平均停留時(shí)間的目標(biāo)。







從上圖看退出百分比，可以看出頁(yè)面的退出率也是波動(dòng)比較大，其中新版?zhèn)€人中心首頁(yè)的退出百分比也是大多時(shí)間低于舊版的退出百分比。

這說(shuō)明新版?zhèn)€人中心首頁(yè)為引導(dǎo)用戶(hù)進(jìn)一步訪問(wèn)網(wǎng)站做出更大貢獻(xiàn)，從而其它頁(yè)面也得到更多的訪問(wèn)；另一個(gè)角度，在降低頁(yè)面平均停留時(shí)間的同時(shí)，也并未造成更多用戶(hù)在該頁(yè)退出網(wǎng)站。







從上圖看頁(yè)面跳出率，可以看出：用戶(hù)在個(gè)人中心首頁(yè)進(jìn)行著陸時(shí)，新舊版本的數(shù)據(jù)表現(xiàn)基本一致，新版本并不能有效解決用戶(hù)著陸跳出的情況，跳出率一般反映著陸頁(yè)對(duì)用戶(hù)的吸引力，促使用戶(hù)進(jìn)一步訪問(wèn)網(wǎng)站。

可從下面幾點(diǎn)考慮下個(gè)版本的迭代：

1. 個(gè)人中心首頁(yè)并不是常規(guī)用戶(hù)的著陸頁(yè)，可從這些用戶(hù)的來(lái)源入手，為什么在用戶(hù)中心著陸，再就來(lái)源進(jìn)行分析；可能是站內(nèi)用戶(hù)重啟會(huì)話(huà)的當(dāng)前頁(yè)面，但沒(méi)繼續(xù)訪問(wèn)就關(guān)掉頁(yè)面了。

2. 作為著陸頁(yè)，用戶(hù)讀完后，是不是沒(méi)有引導(dǎo)用戶(hù)進(jìn)一步訪問(wèn)頁(yè)面或者用戶(hù)沒(méi)有找到他想要的東西；同時(shí)，如果考慮引導(dǎo)新增，需要考慮個(gè)人中心首頁(yè)本身定位于功能導(dǎo)航頁(yè)面。

（暫不支持提供跳出率評(píng)估落地頁(yè)效果，跳出率統(tǒng)計(jì)來(lái)自?xún)?nèi)部自研的數(shù)據(jù)系統(tǒng)。）

3.2.3 事件觸發(fā)







目前網(wǎng)站的注冊(cè)是沒(méi)有經(jīng)過(guò)郵箱驗(yàn)證的環(huán)節(jié)，只要是合乎格式的郵箱就能順利注冊(cè)成功，因此可能存在非用戶(hù)使用的郵箱，加大我們對(duì)用戶(hù)區(qū)分的難度。

同時(shí)，個(gè)人中心的積分模塊是需要郵箱驗(yàn)證才能開(kāi)啟。在新版的個(gè)人中心首頁(yè)中，新增了郵箱驗(yàn)證的獎(jiǎng)勵(lì)積分提示，期望讓更多用戶(hù)去完成郵箱驗(yàn)證操作，上圖統(tǒng)計(jì)的是用戶(hù)點(diǎn)擊郵箱驗(yàn)證的情況。

可以看到：新版郵箱驗(yàn)證數(shù)遠(yuǎn)高于舊版郵箱驗(yàn)證數(shù)，伴隨實(shí)驗(yàn)流量的加大（23號(hào)調(diào)至50%），新舊版的驗(yàn)證數(shù)對(duì)比越來(lái)越明顯。

截至29日，同樣實(shí)驗(yàn)樣本，新版郵箱驗(yàn)證數(shù)達(dá)3,755次，高出舊版郵箱驗(yàn)證數(shù)511%。

3.3 交易數(shù)據(jù)分析

交易次數(shù)對(duì)比的是實(shí)驗(yàn)上線星期前后9天的數(shù)據(jù)對(duì)比，采用的是星期對(duì)比（比如19日是周六，那對(duì)比的也是相鄰最近的周六），排除星期單量的周期變化帶來(lái)的影響。

可以看：在流量小初期，新舊對(duì)比還不是特別明顯，在23號(hào)加大實(shí)驗(yàn)流量后，新舊間的交易次數(shù)對(duì)比就越來(lái)越明顯。

截至27日，對(duì)比11.05-11.13與11.19-11.27的交易次數(shù)，新版交易次數(shù)達(dá)4,275次，高出舊版交易次數(shù)28%。

3.3.1 推薦位點(diǎn)擊情況







從上面二維表來(lái)看，實(shí)驗(yàn)上線星期前后9天，新版較舊版增加了14.00%的推薦點(diǎn)擊UV及12.25%的推薦點(diǎn)擊次數(shù)，從而促使更多用戶(hù)進(jìn)入推薦轉(zhuǎn)化，促成更多的訂單。

下面我們來(lái)拆解不同推薦位的點(diǎn)擊情況：







可以看到，推薦位“猜你喜歡”及“秒殺”的點(diǎn)擊情況較舊版都有明顯增長(zhǎng)，其中“猜你喜歡”增長(zhǎng)最為明顯，UV和次數(shù)分別達(dá)到了31.12%、35.44%。同時(shí)，“歷史瀏覽”呈現(xiàn)下降的趨勢(shì)，屬于負(fù)增長(zhǎng)。

結(jié)合推薦位的位置考慮，“猜你喜歡”是屬于第一屏，不需要切換即可查看，因此可以推測(cè)產(chǎn)品展示方式改為鋪開(kāi)展示后，雖然產(chǎn)品的曝光得到增長(zhǎng)，但是也僅限第一屏的推薦位?；凇安履阆矚g”的點(diǎn)擊基數(shù)大，所以也讓整體推薦位的點(diǎn)擊次數(shù)得到增長(zhǎng)。

同時(shí)，我們也發(fā)現(xiàn)：第一屏的推薦位會(huì)得到更高曝光，同時(shí)也會(huì)減弱用戶(hù)對(duì)其它推薦位的注意力，從而造成非第一屏推薦位（即需進(jìn)行Tab切換的推薦位）的點(diǎn)擊發(fā)生明顯下降。

涉及對(duì)交易數(shù)據(jù)的維度拆分，采用的是觸點(diǎn)歸因（即分清每個(gè)位置實(shí)際帶來(lái)的交易轉(zhuǎn)化，而不是指經(jīng)過(guò)這個(gè)路徑或操作的用戶(hù)轉(zhuǎn)化，如Banner實(shí)際銷(xiāo)售效果、文本鏈接實(shí)際銷(xiāo)售效果、活動(dòng)頁(yè)面實(shí)際銷(xiāo)售效果）。

在這一塊，友盟+提供的產(chǎn)品尚未滿(mǎn)足對(duì)觸點(diǎn)歸因的支持，因此涉及對(duì)維度拆分分析的，采用自研數(shù)據(jù)系統(tǒng)，下同。

3.3.2 推薦位交易情況







從上面二維表來(lái)看，實(shí)驗(yàn)上線星期前后9天，新版較舊版增加了14.22%的推薦交易UV及27.40%的推薦交易次數(shù)，促成更多的轉(zhuǎn)化交易。

下面我們來(lái)拆解不同推薦位的交易情況：







從上面來(lái)看，“秒殺”在改版過(guò)程中未做調(diào)整，只做了UI界面改版，可能是秒殺商品的折扣力度問(wèn)題，引起數(shù)值波動(dòng)異常。

我們主要分析“歷史瀏覽”及“猜你喜歡”兩個(gè)推薦位，結(jié)合前面3.3.1的分析，我們可以看到“猜你喜歡”交易的增長(zhǎng)速度和點(diǎn)擊的增長(zhǎng)速度相近，符合預(yù)期中伴隨點(diǎn)擊越來(lái)越多，成交也越來(lái)越多。

同時(shí)，“歷史瀏覽”的交易下降比例相較點(diǎn)擊卻低很多，而交易UV與點(diǎn)擊UV的下降比例也相近，推測(cè)可能是有用戶(hù)多次購(gòu)買(mǎi)，從而造成交易下降比例不符預(yù)期。

3.3.3 推薦位轉(zhuǎn)化情況







從上面二維表來(lái)看，實(shí)驗(yàn)上線星期前后9天，新舊兩版轉(zhuǎn)化對(duì)比來(lái)看，UV的交易轉(zhuǎn)化率基本不變，次數(shù)的交易轉(zhuǎn)化率有13.67%的提高，可以推測(cè)新版促成了用戶(hù)的多次交易行為。

下面我們來(lái)拆解不同推薦位的轉(zhuǎn)化情況：（僅拆解UV的轉(zhuǎn)化情況）







“秒殺”在改版過(guò)程中未做調(diào)整，只做了UI界面改版。也是主要看“歷史瀏覽”及“猜你喜歡”的轉(zhuǎn)化情況，可以看到“歷史瀏覽”的轉(zhuǎn)化率（4.65%）遠(yuǎn)高于“猜你喜歡”的轉(zhuǎn)化率（2.09%），同時(shí)“猜你喜歡”的轉(zhuǎn)化率并未因曝光增長(zhǎng)而得到大幅提升。

四、迭代方向

4.1 跳出率優(yōu)化

（1）用戶(hù)中心并不是常規(guī)著陸頁(yè)，可從用戶(hù)來(lái)源入手，為什么在用戶(hù)中心著陸？再就來(lái)源進(jìn)行分析；可能是站內(nèi)用戶(hù)重啟會(huì)話(huà)的當(dāng)前頁(yè)面，但沒(méi)繼續(xù)訪問(wèn)就關(guān)掉頁(yè)面了。

U-App AI版可查看用戶(hù)訪問(wèn)路徑，但存在不能就路徑某個(gè)環(huán)節(jié)具體分析，拆分出站外引流和站內(nèi)引流入口的數(shù)據(jù)情況，按照?qǐng)鼍叭シ治鲰?yè)面的跳出情況，現(xiàn)有整體路徑分析的入口如下：

基礎(chǔ)看板-功能使用-頁(yè)面訪問(wèn)路徑

（2）作為著陸頁(yè)，用戶(hù)讀完后，是不是沒(méi)有引導(dǎo)用戶(hù)進(jìn)一步訪問(wèn)頁(yè)面或者用戶(hù)沒(méi)有找到他想要的東西。同時(shí)，如果考慮引導(dǎo)新增，需要考慮默認(rèn)頁(yè)本身定位于功能導(dǎo)航頁(yè)面。

4.2 交易次數(shù)優(yōu)化

（1）在鋪開(kāi)產(chǎn)品展示時(shí)，第一屏的推薦位會(huì)得到更高曝光，同時(shí)也會(huì)減弱用戶(hù)對(duì)其它推薦位的注意力，造成非第一屏推薦位的點(diǎn)擊發(fā)生明顯下降。

（2）結(jié)合3.3.1及3.3.2，我們知道“歷史瀏覽”的點(diǎn)擊和交易都是僅次于第一屏的“猜你喜歡”，但“歷史瀏覽”的轉(zhuǎn)化率卻遠(yuǎn)高于“猜你喜歡”的轉(zhuǎn)化率（兩倍多）。

因此，我們是否可以考慮將“歷史瀏覽”作為第一屏，預(yù)期可以大幅提高我們?cè)谶@的交易次數(shù)。