小紅書CTO郄小虎：云計算與大數(shù)據(jù)打通社區(qū)與電商

時間：2023-03-09 21:46:01 | 來源：電子商務(wù)

時間：2023-03-09 21:46:01 來源：電子商務(wù)

從社區(qū)到平臺，從0到超2000萬注冊用戶，小紅書與成長背后的技術(shù)架構(gòu)如何變遷?日前，小紅書CTO郄小虎(Tiger)接受《騰訊云會客廳》及CSDN記者專訪，介紹小紅書在轉(zhuǎn)型發(fā)展中遇到的技術(shù)挑戰(zhàn)，和如何通過云計算來實現(xiàn)系統(tǒng)的擴容、安全，以及基于大數(shù)據(jù)和機器學(xué)習(xí)的個性化推薦應(yīng)用。

小紅書技術(shù)架構(gòu)變遷及挑戰(zhàn)

郄小虎介紹，小紅技術(shù)架構(gòu)的發(fā)展經(jīng)歷了三個階段：

2013年創(chuàng)立初期，小紅書是一個純社區(qū)平臺，主要的應(yīng)用場景是用戶分享他們的購物體驗，這個階段系統(tǒng)主要面臨的挑戰(zhàn)是從產(chǎn)品快速迭代，技術(shù)選型上更加偏重于靈活性和高效性，對事務(wù)性和一致性的要求不高。

引入了電商業(yè)務(wù)之后，事務(wù)性和一致性需求的解決成為迫在眉睫的問題。這個階段的主要工作是在現(xiàn)有技術(shù)架構(gòu)的基礎(chǔ)上實現(xiàn)事務(wù)性、一致性的需求。這也是小紅書后臺技術(shù)經(jīng)歷的最重大的一次變化。

社區(qū)電商業(yè)務(wù)的飛速發(fā)展，帶來了系統(tǒng)性能的瓶頸。這個階段，小紅書開始從存儲層到邏輯層到服務(wù)層去對系統(tǒng)進行擴容，從一開始的集中式架構(gòu)，慢慢地改造成服務(wù)化、模塊化的分布式架構(gòu)，整個技術(shù)體系能夠變得更加獨立、靈活，而且易于擴容。

系統(tǒng)可能面臨的最大的挑戰(zhàn)來自于規(guī)模和經(jīng)驗：

業(yè)務(wù)邏輯的完善。去年的“6.6周年慶”，在流量上并不是特別大的問題，但那是小紅書第一次做大規(guī)模促銷，支持電商業(yè)務(wù)的功能上有很多不到位的地方，比如秒殺系統(tǒng)最開始的在邏輯上是存在缺陷的。

高并發(fā)流量。到去年紅五(紅色星期五)的時候，小紅書在業(yè)務(wù)邏輯的層面已經(jīng)積累了相當(dāng)多的經(jīng)驗，最大的考驗轉(zhuǎn)移到流量上。小紅書歷史上的最高峰值是在紅五時候出現(xiàn)的，已經(jīng)真正挑戰(zhàn)到了系統(tǒng)的一些極限。

云計算實踐

應(yīng)對互聯(lián)網(wǎng)業(yè)務(wù)挑戰(zhàn)的關(guān)鍵，是架構(gòu)的云化，小紅書也選擇了云計算服務(wù)。

選擇云服務(wù)的考量

小紅書在選擇云計算技術(shù)時主要從以下三個層面來考量：

硬件資源。云平臺作為一個基礎(chǔ)的計算和存儲的平臺，當(dāng)小紅書需要更多的計算能力或者更多的存儲容量時，這個平臺能夠很快地滿足擴容的需求。

基礎(chǔ)軟件。業(yè)務(wù)系統(tǒng)的實現(xiàn)需要技術(shù)團隊搭建很多的功能模塊，可以在云基礎(chǔ)架構(gòu)平臺上自己搭建，也可以去選用平臺提供的一些現(xiàn)成服務(wù)，如數(shù)據(jù)庫服務(wù)、Redis緩存、數(shù)據(jù)計算系統(tǒng)。

增值服務(wù)，包括了圖象處理、CDN和安全相關(guān)的防DDoS攻擊、防刷單、防惡意用戶等等。

騰訊云的應(yīng)用

基于上述理念，小紅書嘗試了不同的云服務(wù)組合，目前較為核心的業(yè)務(wù)系統(tǒng)部署在騰訊云上，硬件基礎(chǔ)架構(gòu)和增值服務(wù)依賴于騰訊云?；谥悟v訊社交業(yè)務(wù)的技術(shù)打造的騰訊云，對滿足小紅書這兩方面的需求沒有壓力;第二部分則是一個混合的模式——比如，數(shù)據(jù)庫和Spark是自己搭建的。

存儲系統(tǒng)

小紅書現(xiàn)在采用的數(shù)據(jù)庫技術(shù)是NoSQL，是初期打造社區(qū)應(yīng)用時候做出的選擇，因為NoSQL更適合大規(guī)模、高并發(fā)的社區(qū)場景，同時社區(qū)應(yīng)用對事務(wù)性、數(shù)據(jù)一致性的要求沒有那么強，NoSQL完全可以滿足，而如果采用傳統(tǒng)關(guān)系統(tǒng)數(shù)據(jù)庫，開發(fā)成本也會變得比較高。

安全

小紅書遇到的攻擊，最常見的是簡單粗暴的流量攻擊，目的就是為了把網(wǎng)絡(luò)帶寬耗盡、阻塞，讓其他有正常需求的用戶沒有辦法訪問小紅書的服務(wù)，大型企業(yè)一般要投入很大的人力物力，才能把這類攻擊化解掉。郄小虎表示，對于成長型公司，需要云服務(wù)平臺能夠在這些流量到達服務(wù)之前盡早地把它們過濾掉。這方面，騰訊云提供的大禹系統(tǒng)可以滿足小紅書的需求。他認為，大禹系統(tǒng)是一個立體的系統(tǒng)，在CDN層面上把攻擊流量化解，小紅書發(fā)現(xiàn)的一些比較執(zhí)著的攻擊也能被擋住。

實戰(zhàn)心得

遷移到騰訊云使得小紅書業(yè)務(wù)的開發(fā)和上線速度得到提升。尤其是對于突發(fā)性的一些需求，可以提高上線的速度。之如直播可以減少很多的開發(fā)工作量，前可能需要一個月的時間，現(xiàn)在一周就可以搞定了。

和騰訊云合作的另一個好處，是可以借助騰訊云技術(shù)團隊共同進步。去年第二次大促銷的時候，小紅書系統(tǒng)面臨很大的流量壓力，已經(jīng)做了數(shù)據(jù)分片，并且做了封測，對想得到的購物入口做了充分的準備，但開場時候系統(tǒng)仍然卡了一下，后來小紅書和騰訊團隊一起排查，才發(fā)現(xiàn)是出現(xiàn)了大量用戶刷心愿單的情況(用戶提前把物品加入到心愿單里)，然后很快地擴容。

命脈：基于大數(shù)據(jù)的個性化推薦

無論是社區(qū)還是電商，個性化的分析和推薦，都是很重要的一個維度，并且要借助大數(shù)據(jù)、機器學(xué)習(xí)來實現(xiàn)。郗小虎認為這些技術(shù)小紅書的生命線。但與純粹的電商平臺不同，小紅書首先是一個信息發(fā)現(xiàn)和分享的平臺，所以不僅要分析用戶購物行為，還要處理數(shù)量遠超商品數(shù)量的社區(qū)信息。

社區(qū)的激勵機制，就是讓優(yōu)質(zhì)的筆記得到更多的曝光、更多的用戶點贊和收藏，并且是通過技術(shù)手段而非人工力量來實現(xiàn)。當(dāng)用戶發(fā)了一篇帖子之后，系統(tǒng)會對這篇筆記進行多個維度的分析。

根據(jù)歷史數(shù)據(jù)建立的模型所提取出一些特征，來判斷一篇筆記的質(zhì)量。

根據(jù)筆記的內(nèi)容推薦出一些標簽，簡化用戶的操作的復(fù)雜度，同時避免UGC信息非常零亂的情況，讓UGC的信息更加結(jié)構(gòu)化，能夠和后臺系統(tǒng)對齊。

推薦背后的用戶畫像，依賴的是用戶的基本屬性和用戶行為，郄小虎認為用戶畫像技術(shù)本身已經(jīng)比較成熟，真正的難點在于如何去應(yīng)用這個畫像，怎么判斷用戶處在某個特定的場景下的意愿——即便對用戶有360度的全方位了解，如何從豐富的信息中提取出對這個時間點、這個場景有價值的信息，仍然是一個難點。小紅書會根據(jù)平臺上大量的筆記信息和用戶瀏覽的行為，從中提煉出哪一些信息對于于某個特定場景下的用戶來說是有價值的，從而實現(xiàn)和傳統(tǒng)的電商購物明顯差異化的體驗。

郄小虎介紹了小紅書上個性化推薦的三重境界：

最基礎(chǔ)的基于人口統(tǒng)計學(xué)的推薦，根據(jù)性別、年齡等基礎(chǔ)信息，把一些和用戶不相關(guān)的、不感興趣的信息過濾掉，讓用戶能夠看到更相關(guān)的推薦信息。例如男士可能不太會對這個化妝品感興趣，推薦運動、健身、旅行等分類源的一些信息更加合適。

基于協(xié)同過濾的推薦。根據(jù)多維度的用戶畫像，把相似用戶喜歡/已消費的一些信息作為推薦的來源。

場景化推薦引導(dǎo)消費。小紅書現(xiàn)在有非常多的女性用戶，她們來到小紅書平臺可能只是沒有明確目標的“逛”，或者只有一個比較模糊的目標，小紅書則可以引導(dǎo)這部分用戶在不停的“逛”中發(fā)現(xiàn)驚喜，形成細化的消費需求。

第三重境界背后的技術(shù)支持，基礎(chǔ)是用戶行為大數(shù)據(jù)的分析，除了購買行為，還包括看什么帖子、看哪些場景分類的導(dǎo)航等行為，但更重要的是場景的提煉，在這個過程中，通過對這些用戶行為大數(shù)據(jù)的分析，讓這些系統(tǒng)變得越來越聰明。例如，用戶要出國去日本的時候，想找一些關(guān)于日本零食的信息，但他并不知道具體的一些零食是什么，小紅書的平臺會自動推薦一些相關(guān)的鏈接：生巧克力、白色戀人、東京香蕉等，用戶點開這些信息，會發(fā)現(xiàn)大量的用戶分享的關(guān)于這個產(chǎn)品的筆記，用戶就有了一個明確的概念。所以系統(tǒng)根據(jù)平臺上大量的筆記信息和用戶瀏覽的行為，可以從中提煉出哪一些信息對某個特定場景下的用戶來說是有價值的，平臺就成為了一個智能的小助手。

小紅書會分析用戶行為，也會判斷用戶長期的行為和短期的興趣點，這是會變化的。例如，一個人會看很多健身器材、運動服裝、健身器械的一些筆記，可能到了某一個階段會突然開始關(guān)注一些出國的時候需要準備的東西，就表示這個用戶近期有出國旅游的需求的，可以短期內(nèi)針對他推薦一些出國相關(guān)的信息。而一些年輕的用戶到了某一些階段突然關(guān)注母嬰用品、孕期維生素、玩具等，則表示這個用戶可能開始做爸爸/媽媽了，就要針對他分享一些在人生中處在相似階段的用戶的生活筆記，這對于他們是有價值的信息。

除了上述用戶行為，圖像的理解、文本的分析也是小紅書需要解決的問題。郄小虎表示，在小紅書的應(yīng)用上，圖像很重要，因為很多時候用戶的需求信息很難用文本來描述，這時候通過圖像的相似度來找關(guān)聯(lián)是一種更加有效的方式，尤其是在像穿搭，這個品類里面，就找到風(fēng)格類似的，這樣的一些圖象，是有更大的，對用戶來說有更大的發(fā)現(xiàn)價值。

文本方面，技術(shù)上的一個難點，需要對用戶所描述的，整體的上下文有一個非常深入的了解，比如，用戶筆記中出現(xiàn)“巧克力中的愛馬仕”、“牙膏中的愛馬仕”等等，這個時候，不能因為出現(xiàn)“愛馬仕”一詞就判斷該筆記和愛馬仕是相關(guān)的，還是要看它在上下文中是如何出現(xiàn)的，才能做到準確的推薦。

人工智能能夠創(chuàng)造新的消費體驗

談到小紅書的未來，郄小虎認為，目前小紅書給用戶提供的主要還是一種瀏覽的體驗，小紅書希望成為用戶的一個智能助手，理解用戶的需求并幫助用戶完成他的心愿，整個需求的滿足還有很大的提升空間，通過機器學(xué)習(xí)技術(shù)的應(yīng)用，不斷分析和學(xué)習(xí)用戶的行為，可以使系統(tǒng)變得越來越聰明，能夠讓用戶更加有效地找到想要的信息或者想買的商品。