京東展示推薦技術(shù) 優(yōu)化算法提升用戶體驗(yàn)

時(shí)間：2023-01-17 07:40:01 | 來源：電子商務(wù)

時(shí)間：2023-01-17 07:40:01 來源：電子商務(wù)

2015年11月19日-21日，由CSDN重磅打造的SDCC2015(中國(guó)軟件開發(fā)者大會(huì))在北京舉行，吸引了超過上千位專業(yè)人士的參與。京東個(gè)性化與排序平臺(tái)部高級(jí)總監(jiān)鄒宇、京東推薦平臺(tái)部總監(jiān)劉思喆代表京東參與了此項(xiàng)年度技術(shù)盛會(huì)，并向業(yè)界分享了京東的推薦技術(shù)。

京東推薦產(chǎn)品覆蓋各個(gè)渠道，各個(gè)平臺(tái)，包括PC端、APP端、微信購物、手Q購物以及EDM、定向營(yíng)銷等。京東推薦產(chǎn)品有四大價(jià)值：挖掘用戶潛在的購買需求;縮短用戶到商品的距離;用戶需求不明確的時(shí)候提供比較好的參考;吸引有好奇心的用戶。

京東個(gè)性化與排序平臺(tái)部高級(jí)總監(jiān)鄒宇

目前，搜索對(duì)京東訂單引入貢獻(xiàn)非常大，推薦的貢獻(xiàn)更是高速成長(zhǎng)。比如京東推薦系統(tǒng)在京東少兒圖書品類推薦效果最好，主要原因是商品單價(jià)不高，用戶決策并且最終轉(zhuǎn)化成本很低。

京東推薦的架構(gòu)與算法優(yōu)化

劉思喆介紹了京東推薦的結(jié)構(gòu)。京東推薦最基礎(chǔ)的單元被稱為Key，是最基本的召回元素。Key標(biāo)準(zhǔn)結(jié)構(gòu)可能是商品到商品、用戶到商品的關(guān)系，類目到類目的關(guān)系，品牌到品牌的關(guān)系，人到商品的關(guān)系等等。

再向上一層就是業(yè)務(wù)邏輯的封裝層，將推薦位的行為以及用戶當(dāng)時(shí)行為都進(jìn)行接入，這包括用戶的實(shí)時(shí)數(shù)據(jù)還有累積消費(fèi)數(shù)據(jù)。然后約有上千個(gè)和推薦相關(guān)的調(diào)度系統(tǒng)，把需要的結(jié)果都進(jìn)行計(jì)算，最終會(huì)加到這個(gè)系統(tǒng)里面。

最上層的是整個(gè)用戶的反饋環(huán)，最終可以變成統(tǒng)計(jì)系統(tǒng)，即包含優(yōu)化目標(biāo)，也包含整個(gè)KPI，可以指導(dǎo)最終的頂層數(shù)據(jù)的存儲(chǔ)甚至排序，形成推薦系統(tǒng)的閉環(huán)。

京東推薦平臺(tái)部總監(jiān)劉思喆

據(jù)透露，京東推薦系統(tǒng)在算法優(yōu)化上有四個(gè)方向。第一，對(duì)業(yè)務(wù)要有一個(gè)非常好的理解，主要的手段就是大量的數(shù)據(jù)分析，對(duì)數(shù)據(jù)的質(zhì)量以及覆蓋度進(jìn)行一個(gè)比較好的考量，會(huì)占25%的權(quán)重，第二，京東會(huì)測(cè)試大量的召回結(jié)果，會(huì)測(cè)試不同算法在不同數(shù)據(jù)源上的效果，提高召回模型的質(zhì)量，占據(jù)50%權(quán)重。第三，京東推薦系統(tǒng)要實(shí)時(shí)，實(shí)時(shí)方式拿到用戶的反饋，然后應(yīng)用不同維度數(shù)據(jù)源進(jìn)行結(jié)果重新排序，占據(jù)15%。第四，把離線放到在線，加大數(shù)據(jù)更新頻率，響應(yīng)用戶需求頻率，占據(jù)10%。

因用戶行為而調(diào)整的召回與排序

京東的數(shù)據(jù)主要兩大類，用戶行為數(shù)據(jù)和基于內(nèi)容的數(shù)據(jù)。京東會(huì)根據(jù)用戶的行為數(shù)據(jù)構(gòu)建用戶畫像，比如是不是有小孩，是不是男性，在京東的生命周期怎么樣，促銷的敏感度如何，在家還是單位購物多，購買率的等級(jí)是什么?京東會(huì)根據(jù)用戶的行為做推薦，這大多是通過離線數(shù)據(jù)計(jì)算的。此外，系統(tǒng)還會(huì)根據(jù)用戶的實(shí)時(shí)行為進(jìn)行推薦，比如判斷出用戶喜歡瀏覽牙刷的品類，喜歡電動(dòng)牙刷，而且偏好聲波類電動(dòng)牙刷。

通過“共現(xiàn)矩陣”的辦法，京東推薦系統(tǒng)可以度量商品到商品的、用戶到用戶的商品、商品到商品的相似指數(shù)。比如用戶對(duì)某個(gè)商品的分值比較高，瀏覽的分值比較高，購買的分值更高。通過這些辦法，可以找到比較貼近其需求和愛好的產(chǎn)品推薦給消費(fèi)者，在這些基礎(chǔ)算法之外，京東還會(huì)應(yīng)用高級(jí)算法提升推薦的效果。

京東還會(huì)通過一些模型進(jìn)行推薦，比如用戶的購買力模型、周期商品購買模型、LDA模型等。例如，京東現(xiàn)在有大量第三方商家，會(huì)存在有“一品多商”的問題，京東就會(huì)用圖片相似等方法做過濾。

在排序上，京東會(huì)進(jìn)行兩級(jí)預(yù)估，先預(yù)估CTR(點(diǎn)擊率)，再預(yù)估CVR(轉(zhuǎn)化率)，由此進(jìn)行排序。這是如何實(shí)現(xiàn)的呢?對(duì)于任何一個(gè)商品，京東都認(rèn)為它具備品牌、中心詞、類目、擴(kuò)展屬性等指標(biāo)，可以用銷售量來度量。每個(gè)商品和商品之間有一張購買的網(wǎng)，每個(gè)商品的pagerank也可以使用，這個(gè)指標(biāo)不但考慮了數(shù)量問題，還考慮了網(wǎng)狀關(guān)系，考量的指標(biāo)還有評(píng)論數(shù)、好評(píng)度、瀏覽深度等。拿一個(gè)實(shí)際的例子來說，如果某用戶購買產(chǎn)后塑身產(chǎn)品，那么孕婦裝雖然有關(guān)聯(lián)度，但這種關(guān)系會(huì)被劇烈地降低權(quán)重，因?yàn)檫壿嬌鲜窍葢言泻笊a(chǎn)再塑身。

鄒宇分享了對(duì)冷啟動(dòng)用戶的處理方法。所謂的“冷啟動(dòng)”是指一個(gè)新用戶，系統(tǒng)中沒有他的行為數(shù)據(jù)。這個(gè)時(shí)候，京東做法就是根據(jù)人以群分的歸類法則。比如基于社交關(guān)系推薦。當(dāng)然如果這些沒有，可能找更粗的人群分群的方式，比如性別、年齡、地域。當(dāng)然最極端的情況下，完全沒有，那就根據(jù)最近的熱點(diǎn)進(jìn)行類別多樣化精選推薦的策略，把每一類當(dāng)下最流行的商品拼在一起推薦給新用戶去看，這其實(shí)是試探的過程，然后根據(jù)用戶的交互反饋，慢慢向用戶主信息上收斂。

重視實(shí)驗(yàn)與監(jiān)控 迅速確認(rèn)算法優(yōu)劣

劉思喆介紹，在推薦系統(tǒng)中，京東非常重視實(shí)驗(yàn)與監(jiān)控。京東是算法和架構(gòu)分離，架構(gòu)可以管頂層工程，算法就是每天嘗試各種各樣的特征、數(shù)據(jù)、規(guī)則，以及流量最終的效果怎么樣。

京東推薦的實(shí)驗(yàn)系統(tǒng)采用了外部的頁面配置。流量實(shí)時(shí)生效，而且流量比例是可以任意分配的。簡(jiǎn)單修改某一個(gè)線上實(shí)驗(yàn)，它的流量就可以實(shí)現(xiàn)秒級(jí)線上更新，第二天甚至實(shí)時(shí)可以看到結(jié)果。京東的分流策略常用兩種，第一種是隨機(jī)，每次刷新看到的結(jié)果可能都不一樣，比如十組實(shí)驗(yàn)，每一版都是10%的概率呈現(xiàn);第二種就是相對(duì)固定，一旦看到第一次結(jié)果之后，就保證你以后看到的結(jié)果都是這個(gè)樣子。京東的實(shí)驗(yàn)系統(tǒng)支持版本回溯，算法工程師一旦出現(xiàn)誤配，可以找回相關(guān)的版本和權(quán)限。

除了實(shí)時(shí)實(shí)驗(yàn)之外，京東實(shí)驗(yàn)系統(tǒng)同樣有離線debug平臺(tái)支持，輸入?yún)?shù)可以是一個(gè)或多個(gè)SKU，也可以是類，進(jìn)行不同實(shí)驗(yàn)的結(jié)果召回，定位不同實(shí)驗(yàn)的效果。這樣算法工程師可以通過自測(cè)幾個(gè)小的例子，迅速找到自己的算法，在沒有切流量之前問題在哪，或者到底好在什么地方。

持續(xù)優(yōu)化迭代 提升推薦系統(tǒng)價(jià)值

劉思喆認(rèn)為，算法優(yōu)化必須逐步迭代。不可能忽然上一個(gè)很牛的算法保證效果提高50%，工程師之間的相互交流有助于提高算法優(yōu)化效果。

而通過數(shù)據(jù)的挖掘，京東也會(huì)發(fā)現(xiàn)，某些用戶從來不點(diǎn)任何推薦，不點(diǎn)任何廣告，也就是對(duì)這個(gè)東西完完全全不感冒。那可能京東也有可能對(duì)該用戶隱藏推薦系統(tǒng)。“用戶如果能深度地參與到推薦系統(tǒng)里面來，當(dāng)然可能是無意識(shí)的，這時(shí)推薦系統(tǒng)才真正做到了極致。”

鄒宇認(rèn)為，京東大數(shù)據(jù)的價(jià)值越來越大。舉例來說，互聯(lián)網(wǎng)展示廣告的點(diǎn)擊率通常能到千分之一就不錯(cuò)了，轉(zhuǎn)化率更低，通常是萬分之幾。但京東的搜索轉(zhuǎn)化率高于這種廣告轉(zhuǎn)化率的幾個(gè)數(shù)量級(jí)，因此，京東的數(shù)據(jù)會(huì)有越來越高的價(jià)值，京東的推薦系統(tǒng)在推動(dòng)業(yè)務(wù)成長(zhǎng)方面的作用也將越來越重要。