美數(shù)詳解：DMP系統(tǒng)全生命周期流程與知識(shí)結(jié)構(gòu)體系

時(shí)間：2022-07-18 01:54:02 | 來源：建站知識(shí)

時(shí)間：2022-07-18 01:54:02 來源：建站知識(shí)

編者按：本文將用較長(zhǎng)篇幅，分上下兩篇，從數(shù)據(jù)收集、數(shù)據(jù)處理、數(shù)據(jù)分析與管理、數(shù)據(jù)應(yīng)用四大部分，來簡(jiǎn)要闡述一下構(gòu)建企業(yè)級(jí) DMP 系統(tǒng)的全生命周期流程，以及整理歸納出其中的知識(shí)要點(diǎn)。

一、數(shù)據(jù)收集

基礎(chǔ)數(shù)據(jù)源的收集是做好后期數(shù)據(jù)分析、管理和應(yīng)用的基石。因?yàn)槿绻麤]有提前做好數(shù)據(jù)采集，后期想做分析時(shí)也沒有數(shù)據(jù)可做;如果數(shù)據(jù)源本身出了問題，那么后面做的所有工作都是沒有意義的;另外，注重?cái)?shù)據(jù)的采集工作，才能在后期數(shù)據(jù)使用過程中出現(xiàn)異常情況時(shí)，更好的追本溯源。

那么，可以被 DMP 利用的數(shù)據(jù)源有哪些呢?

1)站內(nèi)與銷售數(shù)據(jù)

指用戶在廣告主官網(wǎng)、EDM、電商網(wǎng)站或 APP 中產(chǎn)生的行為數(shù)據(jù)，往往對(duì)應(yīng)著非常明確的目標(biāo)用戶及其興趣。例如：站內(nèi)流量、搜索、瀏覽、比價(jià)、加入購物車、購買、頁面停留時(shí)間、注冊(cè)情況、留言等數(shù)據(jù)。

2)網(wǎng)絡(luò)行為數(shù)據(jù)

指記錄用戶在網(wǎng)頁端(PC+Mobile)一切沖浪行為的數(shù)據(jù)。這類數(shù)據(jù)的核心是：描述哪個(gè)用戶在哪個(gè)時(shí)間點(diǎn)、哪個(gè)地方，以哪種方式完成了哪類行為，從而了解受眾行為偏好。包括：用戶 ID、用戶行為、用戶設(shè)備、IP、URL、地理位置等數(shù)據(jù)。

這里需要提一下，記錄用戶在 PC 端行為的是 cookie;而 cookie 技術(shù)在移動(dòng)端并不適用，這時(shí)要使用 IMEI(安卓設(shè)備)或 IDFA(蘋果設(shè)備)來標(biāo)識(shí)用戶信息。

3)社交數(shù)據(jù)

指用戶在微信、微博、QQ、天涯等社交網(wǎng)絡(luò)中產(chǎn)生的數(shù)據(jù)。包括：社交賬號(hào)數(shù)據(jù)、受眾屬性數(shù)據(jù)(性別、年齡、學(xué)歷等)、行為興趣數(shù)據(jù)等。

4)投放數(shù)據(jù)

指在(DSP)廣告投放過程中產(chǎn)生的數(shù)據(jù)。如受眾定向數(shù)據(jù)、曝光數(shù)據(jù)、點(diǎn)擊數(shù)據(jù)、轉(zhuǎn)化數(shù)據(jù)、創(chuàng)意數(shù)據(jù)、成本花費(fèi)數(shù)據(jù)等，能方便營(yíng)銷者根據(jù)實(shí)時(shí)的反饋數(shù)據(jù)及時(shí)優(yōu)化調(diào)整投放策略和預(yù)算配比。

5)第三方數(shù)據(jù)

指第三方獨(dú)立數(shù)據(jù)供應(yīng)商提供的數(shù)據(jù)，包括 BAT 數(shù)據(jù)、運(yùn)營(yíng)商數(shù)據(jù)、高質(zhì)量媒體數(shù)據(jù)、第三方監(jiān)測(cè)平臺(tái)數(shù)據(jù)、垂直領(lǐng)域平臺(tái)數(shù)據(jù)等。

6)線下數(shù)據(jù)

指企業(yè)擁有的 CRM 或市場(chǎng)調(diào)研等數(shù)據(jù)。

以上各類數(shù)據(jù)對(duì)廣告效果的意義不盡相同：隨著用戶主動(dòng)意圖的提升和更靠近轉(zhuǎn)化的行為，相應(yīng)的數(shù)據(jù)價(jià)值也隨之增大。而在實(shí)際操作中，營(yíng)銷者不一定要全部接入以上數(shù)據(jù)，而是應(yīng)該結(jié)合自己的業(yè)務(wù)、商業(yè)目標(biāo)，和自身實(shí)力，在投入可控的范圍內(nèi)整合有效、高價(jià)值的數(shù)據(jù)。

那么，如何進(jìn)行數(shù)據(jù)收集呢?

1)加掛代碼

是指在網(wǎng)站、網(wǎng)頁或者廣告展示處等多個(gè)陣地埋置一小段 Javascript 代碼(一般形式)，進(jìn)而讓相應(yīng)的用戶數(shù)據(jù)實(shí)時(shí)傳送到 DMP 系統(tǒng)中。

2)爬蟲獲取

是一種按照一定的規(guī)則，自動(dòng)地、高效地抓取到網(wǎng)絡(luò)上所有公開的、你需要的數(shù)據(jù)的技術(shù)。如美數(shù)獨(dú)家重磅產(chǎn)品 AdVision，可通過爬蟲技術(shù)，攫取 95% 以上的網(wǎng)絡(luò)頁面，采集線上廣告投放數(shù)據(jù)，如廣告內(nèi)容、投放素材、媒體類型、廣告位尺寸、投放時(shí)間等;還能對(duì)網(wǎng)頁、BBS、微博、微信等頁面的 UGC 關(guān)鍵字進(jìn)行抓取，獲取相關(guān)受眾行為偏好數(shù)據(jù)，然后實(shí)時(shí)將這些爬蟲數(shù)據(jù)接入到 DMP 中。

3)開放 API 接口

DMP 通常不能作為一個(gè)獨(dú)立、封閉的系統(tǒng)存在，其需要提供豐富、開放的 API 接口。這當(dāng)然也包括在數(shù)據(jù)收集端開放接口!這些接口的開放，就意味著第三方數(shù)據(jù)、線下數(shù)據(jù)等都可以無縫接入到 DMP 系統(tǒng)中。

二、數(shù)據(jù)處理

數(shù)據(jù)收集的過程是把來源于不同渠道的海量數(shù)據(jù)(跨屏、跨設(shè)備、跨線上線下)整合到 DMP 統(tǒng)一的數(shù)據(jù)庫中。但這些基礎(chǔ)數(shù)據(jù)往往是非結(jié)構(gòu)化、非關(guān)系型的。因此，為了進(jìn)一步挖掘這些數(shù)據(jù)的最大價(jià)值和生產(chǎn)力，DMP 就要把這些多源數(shù)據(jù)，依據(jù)統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)化規(guī)范和流程，進(jìn)行有效的清洗、結(jié)構(gòu)化處理、脫敏保護(hù)、打通整合，即數(shù)據(jù)處理過程。

1)數(shù)據(jù)清洗

數(shù)據(jù)清洗，是整個(gè)數(shù)據(jù)分析過程中不可缺少的重要環(huán)節(jié)，其結(jié)果質(zhì)量直接關(guān)系到模型效果和最終結(jié)論。數(shù)據(jù)清洗包括：去除/補(bǔ)全有缺失的數(shù)據(jù);去除/修改格式或內(nèi)容錯(cuò)誤的數(shù)據(jù);去除/修改邏輯錯(cuò)誤的數(shù)據(jù);去除有明顯錯(cuò)誤的無用和重復(fù)數(shù)據(jù)等，最終使“臟”數(shù)據(jù)變?yōu)?ldquo;干凈”數(shù)據(jù)。

而數(shù)據(jù)清洗的方法有多種，通常有：人工檢查實(shí)現(xiàn)、通過專門編寫應(yīng)用程序?qū)崿F(xiàn)、利用概率統(tǒng)計(jì)學(xué)原理實(shí)現(xiàn)、計(jì)算機(jī)自動(dòng)執(zhí)行算法實(shí)現(xiàn)等，這里不一一詳解，營(yíng)銷者應(yīng)該根據(jù)相關(guān)的業(yè)務(wù)規(guī)則合理選擇。

2)數(shù)據(jù)結(jié)構(gòu)化/標(biāo)準(zhǔn)化處理

是指 DMP 能夠提供統(tǒng)一的數(shù)據(jù)結(jié)構(gòu)化/標(biāo)準(zhǔn)化規(guī)范和流程，將來源于不同渠道、不規(guī)則的、不同使用方式的、復(fù)雜冗長(zhǎng)的原始數(shù)據(jù)，在一致的數(shù)據(jù)描述下進(jìn)行整合和關(guān)聯(lián)，進(jìn)而劃分為固定的基本組成要素，可通過一個(gè)或多個(gè)二維表來表示。經(jīng)過結(jié)構(gòu)化/標(biāo)準(zhǔn)化的數(shù)據(jù)具有一定的邏輯性、精確度高、統(tǒng)計(jì)方便、操作簡(jiǎn)單、可迅速建模分析等特點(diǎn)，在需要對(duì)大量的用戶進(jìn)行行為分析、用戶畫像時(shí)意義重大。

3)數(shù)據(jù)脫敏保護(hù)

指對(duì)某些用戶敏感信息或私密性信息，通過脫敏規(guī)則進(jìn)行數(shù)據(jù)的去隱私化或變形，最終實(shí)現(xiàn)數(shù)據(jù)的可靠保護(hù)。常見的敏感數(shù)據(jù)有: 姓名、身份證號(hào)碼、地址、電話號(hào)碼、銀行賬號(hào)、密碼類、交易日期、交易金額、疾病等。

常見的數(shù)據(jù)脫敏算法包括但不限于：

*Hiding算法：將數(shù)據(jù)替換成一個(gè)常量。如：500→0;

*Hashing算法：將不定長(zhǎng)度的數(shù)據(jù)映射為定長(zhǎng)hash值。如：張三豐→123;李四→456;

*Truncation算法：將數(shù)據(jù)尾部截?cái)啵槐Ａ羟鞍氩糠?。如?10-66666666→010;

*Mask算法：數(shù)據(jù)長(zhǎng)度不變，但只保留部分?jǐn)?shù)據(jù)信息。如：13011231555→130****1555;

*Floor算法：數(shù)據(jù)或是日期取整。如：20170213 12:31:45→20170213

4)數(shù)據(jù)映射(ID Mapping)

指通過各種技術(shù)手段、算法把碎片化、多元化的數(shù)據(jù)全部串聯(lián)起來，消除數(shù)據(jù)孤島，最終識(shí)別這些數(shù)據(jù)同屬于一個(gè)用戶，提供一個(gè)用戶的完整信息視圖。可以說，沒有 ID Mapping，程序化交易就變成了盲目投放，它的實(shí)時(shí)競(jìng)價(jià)、精準(zhǔn)投放、低成本的優(yōu)勢(shì)也就不存在了。

要如何實(shí)現(xiàn) ID Mapping 呢?以美數(shù)為例，其作為大數(shù)據(jù)服務(wù)提供商，與運(yùn)營(yíng)商、互聯(lián)網(wǎng)平臺(tái)緊密合作的基礎(chǔ)上，通過一系列算法，將設(shè)備號(hào)、Wifi、用戶賬號(hào)與 cookie 進(jìn)行強(qiáng)關(guān)聯(lián)，最終真正實(shí)現(xiàn)設(shè)備與網(wǎng)絡(luò)、用戶與設(shè)備、用戶與網(wǎng)絡(luò)的多對(duì)多打通，實(shí)現(xiàn)了跨屏、跨線上線下的數(shù)據(jù)同源。

當(dāng)然，概率論方法也是一種數(shù)據(jù)打通的方式。即借鑒多種匿名的數(shù)據(jù)信號(hào)，比如 IP 地址，設(shè)備類型，瀏覽器類別，地域以及操作系統(tǒng)來創(chuàng)建設(shè)備之間的統(tǒng)計(jì)學(xué)意義上的關(guān)聯(lián)。但這種方式準(zhǔn)確率比較低。

三、數(shù)據(jù)分析與管理

數(shù)據(jù)分析與管理這一步驟是 DMP 系統(tǒng)的核心功能，其能從數(shù)據(jù)背后獲得深刻的“人”的洞察，進(jìn)而提取并挖掘出真正有用的數(shù)據(jù)信息指導(dǎo)應(yīng)用，充分發(fā)揮數(shù)據(jù)的價(jià)值。

那么，DMP 是如何對(duì)數(shù)據(jù)進(jìn)行分析與管理，將數(shù)據(jù)變成“人”的呢?

1)數(shù)據(jù)分類是基礎(chǔ)

當(dāng) DMP 系統(tǒng)中匯聚、積累了大量有效數(shù)據(jù)之后，DMP 應(yīng)該具備依據(jù)各種邏輯快速、高效地分類并分析這些數(shù)據(jù)的功能。比如，分析購買過品牌產(chǎn)品的這類人群屬性，就可以大體勾勒出這類人群是偏男性還是女性，以哪個(gè)年齡段為主，有什么興趣愛好等。當(dāng)然，還有其他自定義分類方式。可以說，這種基于企業(yè)自身業(yè)務(wù)特點(diǎn)和商業(yè)邏輯的分類操作，是后續(xù)創(chuàng)建人群細(xì)分，進(jìn)行人群深入洞察的基礎(chǔ)，更將直接影響到品牌的廣告投放策略和最終的營(yíng)銷效果。

那么，如何進(jìn)行數(shù)據(jù)分類呢?聚類算法是很好的解決方式!即沒有事先預(yù)定的類別，類別數(shù)也不確定。只是根據(jù)“物以類聚”的原理，將具有相似特征和行為的用戶數(shù)據(jù)聚成一類。其是進(jìn)行用戶數(shù)據(jù)分群處理的有效工具。

2)人群洞察(畫像)是關(guān)鍵

將數(shù)據(jù)映射到相應(yīng)的類別中以后，DMP 就要開始進(jìn)一步對(duì)這些不同類別數(shù)據(jù)背后的“人”進(jìn)行分析和深入洞察了，即完成人群畫像操作。比如，繪制歷史購買過產(chǎn)品的人群畫像。

人群畫像，指用數(shù)據(jù)來描述出某一類人群的特征?？梢哉f，人群畫像承載了營(yíng)銷者的兩大業(yè)務(wù)目標(biāo)：一是如何準(zhǔn)確了解現(xiàn)有目標(biāo)用戶并制定營(yíng)銷策略;二是如何在茫茫人海中拓展新客群，為品牌帶來更多商機(jī)和利潤(rùn)。

提到人群畫像，你可能還聽過受眾/個(gè)體畫像。這兩者意義并不完全相同，千萬不要混淆。但是，人群畫像與受眾/個(gè)體畫像具有強(qiáng)關(guān)聯(lián)，即人群畫像的基礎(chǔ)在于對(duì)個(gè)體的準(zhǔn)確描述。如果個(gè)體描述不準(zhǔn)確，人群畫像也會(huì)有偏差。而對(duì)每一個(gè)個(gè)體描述的過程，我們稱之為“打標(biāo)簽”的過程，即通過對(duì)用戶所有數(shù)據(jù)分析而得到的高度精煉的特征標(biāo)識(shí)。

那么，DMP 如何為受眾貼上標(biāo)簽，完成精準(zhǔn)畫像呢?

2.1結(jié)合靜態(tài)受眾數(shù)據(jù)打標(biāo)簽

靜態(tài)受眾數(shù)據(jù)是指基本保持穩(wěn)定的數(shù)據(jù)，主要包括人口屬性類數(shù)據(jù)，如性別、年齡、學(xué)歷、住址等;社會(huì)屬性類數(shù)據(jù)，如職業(yè)等;財(cái)富屬性類數(shù)據(jù)以及家庭情況數(shù)據(jù)等等。這些靜態(tài)數(shù)據(jù)從哪里來?可能從網(wǎng)站注冊(cè)信息、CRM 或市場(chǎng)調(diào)研等日常積累中來。如果前期數(shù)據(jù)收集工作做到位，則可以直接利用這些 PII(Personally Identifiable Information)，即個(gè)人識(shí)別信息來為受眾打上標(biāo)簽。

此外，DMP 除了根據(jù)靜態(tài)受眾數(shù)據(jù)直接得到用戶標(biāo)簽，還可以通過相關(guān)技術(shù)和算法對(duì)這些基礎(chǔ)數(shù)據(jù)信息進(jìn)行處理、分析和推斷，從而得到受眾其他標(biāo)簽。比如根據(jù)出生日期可以推算出星座、生肖、性格等;再比如根據(jù)家庭地址在高端住宅區(qū)，為此人打上“高消費(fèi)人群”標(biāo)簽等。

當(dāng)然，出于法律保護(hù)和受眾隱私安全問題，有的企業(yè)無法獲得真實(shí)、公開的 PII 信息，這時(shí)，如何判斷受眾的靜態(tài)屬性呢?DMP 可以應(yīng)用諸如 SVM(支持向量機(jī))等判別分類的算法，并結(jié)合訓(xùn)練和學(xué)習(xí)完的受眾樣本，把數(shù)據(jù)庫中的未分類數(shù)據(jù)項(xiàng)，根據(jù)特征或?qū)傩杂成涞浇o定類別中的某一類中。但不得不承認(rèn)，這種操作方式需要強(qiáng)大的大數(shù)據(jù)技術(shù)和算法做支撐，執(zhí)行起來難度系數(shù)較高，且存在不準(zhǔn)確性風(fēng)險(xiǎn)。

2.2結(jié)合動(dòng)態(tài)受眾數(shù)據(jù)打標(biāo)簽

動(dòng)態(tài)受眾數(shù)據(jù)是指隨著用戶時(shí)間、地點(diǎn)、行為軌跡等的變化而常常變化的數(shù)據(jù)，主要是指用戶網(wǎng)絡(luò)行為類數(shù)據(jù)，如瀏覽、點(diǎn)擊、搜索、購買等，或社交類數(shù)據(jù)等。DMP 通過對(duì)這些動(dòng)態(tài)數(shù)據(jù)進(jìn)行分析與挖掘，能將用戶信息標(biāo)簽化，進(jìn)而形成完整的人物畫像。

其中，NLP(自然語言處理)是 DMP 系統(tǒng)中常見的能夠準(zhǔn)確識(shí)別受眾所瀏覽網(wǎng)頁的主題內(nèi)容或者一個(gè)網(wǎng)站主題的常見算法。但在這里暫不贅述 NLP 原理，而是舉例另外一種和 NLP 功能類似的技術(shù)——美數(shù)“頁面關(guān)鍵詞提取”技術(shù)。其基于全方位整合用戶網(wǎng)上瀏覽頁面行為以后，通過正文提取(利用“基于行塊分布函數(shù)的通用網(wǎng)頁正文抽取”算法)、分詞處理(利用“逆向最大匹配算法”)、關(guān)鍵詞提取(利用“TF-IDF，一種用于資訊檢索與數(shù)據(jù)挖掘的常用加權(quán)技術(shù)算法)這三大流程步驟，來提取關(guān)鍵詞高度概括頁面主題內(nèi)容，然后對(duì)受眾的全部頁面關(guān)鍵詞標(biāo)簽進(jìn)行加權(quán)歸一化處理，量化出每個(gè)關(guān)鍵詞標(biāo)簽對(duì)于受眾的重要程度，最終細(xì)粒度地推斷、刻畫出受眾對(duì)某件事、某領(lǐng)域的興趣程度，形成受眾畫像。

至此，DMP 完成了對(duì)受眾/個(gè)體的畫像。緊接著，要通過聚類模型和算法，將含有相似關(guān)鍵詞標(biāo)簽的個(gè)體用戶聚合在一起，并通過加權(quán)歸一處理，最終形成某一類目標(biāo)人群畫像，如歷史購買過產(chǎn)品的人群畫像。

四、數(shù)據(jù)應(yīng)用

一旦應(yīng)用企業(yè)級(jí) DMP 系統(tǒng)完成了數(shù)據(jù)的收集、處理、分析工作，并通過建模鎖定了目標(biāo)人群之后，DMP 就要正式發(fā)揮對(duì)企業(yè)的真正價(jià)值了，即將數(shù)據(jù)實(shí)際落地應(yīng)用!

那么，DMP 有哪些應(yīng)用，能夠?yàn)槠髽I(yè)帶來什么幫助呢?

1)相似人群擴(kuò)散

即根據(jù)數(shù)據(jù)分析與管理流程下繪制的目標(biāo)人群畫像，DMP 通過 Look-alike 算法自動(dòng)發(fā)現(xiàn)并找到與目標(biāo)人群特征相似度最高的人群。

2)人群定向投放

即將 DMP 無縫對(duì)接到 DSP，并從人口屬性、行為興趣、時(shí)間地點(diǎn)、關(guān)鍵詞、媒體類型等多個(gè)維度創(chuàng)建投放定向設(shè)置(Campaign)，從而有效區(qū)隔和精準(zhǔn)定位到目標(biāo)受眾;并為每個(gè) Campaign 進(jìn)行合理的預(yù)算配比。

3)衡量廣告效果

對(duì)于多 Campaign 所產(chǎn)生的廣告投放效果，DMP 應(yīng)該能具備實(shí)時(shí)統(tǒng)計(jì)和觀測(cè)的功能，并提供詳盡的數(shù)據(jù)報(bào)表，以便運(yùn)營(yíng)人員可以及時(shí)優(yōu)化、調(diào)整營(yíng)銷策略和預(yù)算配比。

4)訪客召回營(yíng)銷

即借助 DMP 實(shí)時(shí)追蹤用戶的訪問行為，并通過算法模型洞察其興趣程度，然后結(jié)合重定向技術(shù)輕松實(shí)現(xiàn)對(duì)高興趣人群的召回營(yíng)銷，重新喚醒其購買欲望。

5)規(guī)劃渠道分發(fā)

DMP 除了能分析出每個(gè) Campaign 效果以外，還應(yīng)該能獲得各媒體渠道的多維度數(shù)據(jù)表現(xiàn)，并建立歸因分析模型，客觀的評(píng)價(jià)媒體渠道對(duì)于最終轉(zhuǎn)化的貢獻(xiàn)，用數(shù)據(jù)指導(dǎo)媒介策略。

6)指導(dǎo)創(chuàng)意內(nèi)容

廣告是否有效，除了在對(duì)的時(shí)間、地點(diǎn)，找到對(duì)的人以外，更要“說對(duì)話”!而 DMP 可以通過數(shù)據(jù)了解“人”的興趣愛好，并洞察其屬于哪一消費(fèi)階段(購買前、中、后)，從而用數(shù)據(jù)來分析出哪些創(chuàng)意更吸引眼球，進(jìn)行個(gè)性化廣告推薦;并且，還能用數(shù)據(jù)分析結(jié)合 DCO(動(dòng)態(tài)創(chuàng)意優(yōu)化)技術(shù)，為消費(fèi)者動(dòng)態(tài)展示產(chǎn)品創(chuàng)意的同時(shí)，智能推薦強(qiáng)相關(guān)產(chǎn)品及其創(chuàng)意，挖掘和匹配消費(fèi)者多個(gè)興趣點(diǎn)。

結(jié)語

數(shù)據(jù)是數(shù)字營(yíng)銷的根基與命脈!如今，營(yíng)銷者們正面臨著一場(chǎng)尋找、定位、吸引、留存、擴(kuò)散關(guān)鍵受眾的全方位軍備競(jìng)賽。因此，做自有 DMP 的先行者，擁有一個(gè)全生命周期的、強(qiáng)大的專屬 DMP 平臺(tái)，將助力營(yíng)銷者以量的積累推動(dòng)質(zhì)的飛躍，使品牌和產(chǎn)品最終在喧囂的市場(chǎng)中脫穎而出，決勝數(shù)字營(yíng)銷!