美數(shù)詳解：DMP系統(tǒng)全生命周期流程與知識結構體系

時間：2023-02-11 21:48:02 | 來源：電子商務

時間：2023-02-11 21:48:02 來源：電子商務

編者按：本文將用較長篇幅，分上下兩篇，從數(shù)據(jù)收集、數(shù)據(jù)處理、數(shù)據(jù)分析與管理、數(shù)據(jù)應用四大部分，來簡要闡述一下構建企業(yè)級 DMP 系統(tǒng)的全生命周期流程，以及整理歸納出其中的知識要點。

一、數(shù)據(jù)收集

基礎數(shù)據(jù)源的收集是做好后期數(shù)據(jù)分析、管理和應用的基石。因為如果沒有提前做好數(shù)據(jù)采集，后期想做分析時也沒有數(shù)據(jù)可做;如果數(shù)據(jù)源本身出了問題，那么后面做的所有工作都是沒有意義的;另外，注重數(shù)據(jù)的采集工作，才能在后期數(shù)據(jù)使用過程中出現(xiàn)異常情況時，更好的追本溯源。

那么，可以被 DMP 利用的數(shù)據(jù)源有哪些呢?

1)站內(nèi)與銷售數(shù)據(jù)

指用戶在廣告主官網(wǎng)、EDM、電商網(wǎng)站或 APP 中產(chǎn)生的行為數(shù)據(jù)，往往對應著非常明確的目標用戶及其興趣。例如：站內(nèi)流量、搜索、瀏覽、比價、加入購物車、購買、頁面停留時間、注冊情況、留言等數(shù)據(jù)。

2)網(wǎng)絡行為數(shù)據(jù)

指記錄用戶在網(wǎng)頁端(PC+Mobile)一切沖浪行為的數(shù)據(jù)。這類數(shù)據(jù)的核心是：描述哪個用戶在哪個時間點、哪個地方，以哪種方式完成了哪類行為，從而了解受眾行為偏好。包括：用戶 ID、用戶行為、用戶設備、IP、URL、地理位置等數(shù)據(jù)。

這里需要提一下，記錄用戶在 PC 端行為的是 cookie;而 cookie 技術在移動端并不適用，這時要使用 IMEI(安卓設備)或 IDFA(蘋果設備)來標識用戶信息。

3)社交數(shù)據(jù)

指用戶在微信、微博、QQ、天涯等社交網(wǎng)絡中產(chǎn)生的數(shù)據(jù)。包括：社交賬號數(shù)據(jù)、受眾屬性數(shù)據(jù)(性別、年齡、學歷等)、行為興趣數(shù)據(jù)等。

4)投放數(shù)據(jù)

指在(DSP)廣告投放過程中產(chǎn)生的數(shù)據(jù)。如受眾定向數(shù)據(jù)、曝光數(shù)據(jù)、點擊數(shù)據(jù)、轉(zhuǎn)化數(shù)據(jù)、創(chuàng)意數(shù)據(jù)、成本花費數(shù)據(jù)等，能方便營銷者根據(jù)實時的反饋數(shù)據(jù)及時優(yōu)化調(diào)整投放策略和預算配比。

5)第三方數(shù)據(jù)

指第三方獨立數(shù)據(jù)供應商提供的數(shù)據(jù)，包括 BAT 數(shù)據(jù)、運營商數(shù)據(jù)、高質(zhì)量媒體數(shù)據(jù)、第三方監(jiān)測平臺數(shù)據(jù)、垂直領域平臺數(shù)據(jù)等。

6)線下數(shù)據(jù)

指企業(yè)擁有的 CRM 或市場調(diào)研等數(shù)據(jù)。

以上各類數(shù)據(jù)對廣告效果的意義不盡相同：隨著用戶主動意圖的提升和更靠近轉(zhuǎn)化的行為，相應的數(shù)據(jù)價值也隨之增大。而在實際操作中，營銷者不一定要全部接入以上數(shù)據(jù)，而是應該結合自己的業(yè)務、商業(yè)目標，和自身實力，在投入可控的范圍內(nèi)整合有效、高價值的數(shù)據(jù)。

那么，如何進行數(shù)據(jù)收集呢?

1)加掛代碼

是指在網(wǎng)站、網(wǎng)頁或者廣告展示處等多個陣地埋置一小段 Javascript 代碼(一般形式)，進而讓相應的用戶數(shù)據(jù)實時傳送到 DMP 系統(tǒng)中。

2)爬蟲獲取

是一種按照一定的規(guī)則，自動地、高效地抓取到網(wǎng)絡上所有公開的、你需要的數(shù)據(jù)的技術。如美數(shù)獨家重磅產(chǎn)品 AdVision，可通過爬蟲技術，攫取 95% 以上的網(wǎng)絡頁面，采集線上廣告投放數(shù)據(jù)，如廣告內(nèi)容、投放素材、媒體類型、廣告位尺寸、投放時間等;還能對網(wǎng)頁、BBS、微博、微信等頁面的 UGC 關鍵字進行抓取，獲取相關受眾行為偏好數(shù)據(jù)，然后實時將這些爬蟲數(shù)據(jù)接入到 DMP 中。

3)開放 API 接口

DMP 通常不能作為一個獨立、封閉的系統(tǒng)存在，其需要提供豐富、開放的 API 接口。這當然也包括在數(shù)據(jù)收集端開放接口!這些接口的開放，就意味著第三方數(shù)據(jù)、線下數(shù)據(jù)等都可以無縫接入到 DMP 系統(tǒng)中。

二、數(shù)據(jù)處理

數(shù)據(jù)收集的過程是把來源于不同渠道的海量數(shù)據(jù)(跨屏、跨設備、跨線上線下)整合到 DMP 統(tǒng)一的數(shù)據(jù)庫中。但這些基礎數(shù)據(jù)往往是非結構化、非關系型的。因此，為了進一步挖掘這些數(shù)據(jù)的最大價值和生產(chǎn)力，DMP 就要把這些多源數(shù)據(jù)，依據(jù)統(tǒng)一的數(shù)據(jù)標準化規(guī)范和流程，進行有效的清洗、結構化處理、脫敏保護、打通整合，即數(shù)據(jù)處理過程。

1)數(shù)據(jù)清洗

數(shù)據(jù)清洗，是整個數(shù)據(jù)分析過程中不可缺少的重要環(huán)節(jié)，其結果質(zhì)量直接關系到模型效果和最終結論。數(shù)據(jù)清洗包括：去除/補全有缺失的數(shù)據(jù);去除/修改格式或內(nèi)容錯誤的數(shù)據(jù);去除/修改邏輯錯誤的數(shù)據(jù);去除有明顯錯誤的無用和重復數(shù)據(jù)等，最終使“臟”數(shù)據(jù)變?yōu)?ldquo;干凈”數(shù)據(jù)。

而數(shù)據(jù)清洗的方法有多種，通常有：人工檢查實現(xiàn)、通過專門編寫應用程序?qū)崿F(xiàn)、利用概率統(tǒng)計學原理實現(xiàn)、計算機自動執(zhí)行算法實現(xiàn)等，這里不一一詳解，營銷者應該根據(jù)相關的業(yè)務規(guī)則合理選擇。

2)數(shù)據(jù)結構化/標準化處理

是指 DMP 能夠提供統(tǒng)一的數(shù)據(jù)結構化/標準化規(guī)范和流程，將來源于不同渠道、不規(guī)則的、不同使用方式的、復雜冗長的原始數(shù)據(jù)，在一致的數(shù)據(jù)描述下進行整合和關聯(lián)，進而劃分為固定的基本組成要素，可通過一個或多個二維表來表示。經(jīng)過結構化/標準化的數(shù)據(jù)具有一定的邏輯性、精確度高、統(tǒng)計方便、操作簡單、可迅速建模分析等特點，在需要對大量的用戶進行行為分析、用戶畫像時意義重大。

3)數(shù)據(jù)脫敏保護

指對某些用戶敏感信息或私密性信息，通過脫敏規(guī)則進行數(shù)據(jù)的去隱私化或變形，最終實現(xiàn)數(shù)據(jù)的可靠保護。常見的敏感數(shù)據(jù)有: 姓名、身份證號碼、地址、電話號碼、銀行賬號、密碼類、交易日期、交易金額、疾病等。

常見的數(shù)據(jù)脫敏算法包括但不限于：

*Hiding算法：將數(shù)據(jù)替換成一個常量。如：500→0;

*Hashing算法：將不定長度的數(shù)據(jù)映射為定長hash值。如：張三豐→123;李四→456;

*Truncation算法：將數(shù)據(jù)尾部截斷，只保留前半部分。如：010-66666666→010;

*Mask算法：數(shù)據(jù)長度不變，但只保留部分數(shù)據(jù)信息。如：13011231555→130****1555;

*Floor算法：數(shù)據(jù)或是日期取整。如：20170213 12:31:45→20170213

4)數(shù)據(jù)映射(ID Mapping)

指通過各種技術手段、算法把碎片化、多元化的數(shù)據(jù)全部串聯(lián)起來，消除數(shù)據(jù)孤島，最終識別這些數(shù)據(jù)同屬于一個用戶，提供一個用戶的完整信息視圖?？梢哉f，沒有 ID Mapping，程序化交易就變成了盲目投放，它的實時競價、精準投放、低成本的優(yōu)勢也就不存在了。

要如何實現(xiàn) ID Mapping 呢?以美數(shù)為例，其作為大數(shù)據(jù)服務提供商，與運營商、互聯(lián)網(wǎng)平臺緊密合作的基礎上，通過一系列算法，將設備號、Wifi、用戶賬號與 cookie 進行強關聯(lián)，最終真正實現(xiàn)設備與網(wǎng)絡、用戶與設備、用戶與網(wǎng)絡的多對多打通，實現(xiàn)了跨屏、跨線上線下的數(shù)據(jù)同源。

當然，概率論方法也是一種數(shù)據(jù)打通的方式。即借鑒多種匿名的數(shù)據(jù)信號，比如 IP 地址，設備類型，瀏覽器類別，地域以及操作系統(tǒng)來創(chuàng)建設備之間的統(tǒng)計學意義上的關聯(lián)。但這種方式準確率比較低。

三、數(shù)據(jù)分析與管理

數(shù)據(jù)分析與管理這一步驟是 DMP 系統(tǒng)的核心功能，其能從數(shù)據(jù)背后獲得深刻的“人”的洞察，進而提取并挖掘出真正有用的數(shù)據(jù)信息指導應用，充分發(fā)揮數(shù)據(jù)的價值。

那么，DMP 是如何對數(shù)據(jù)進行分析與管理，將數(shù)據(jù)變成“人”的呢?

1)數(shù)據(jù)分類是基礎

當 DMP 系統(tǒng)中匯聚、積累了大量有效數(shù)據(jù)之后，DMP 應該具備依據(jù)各種邏輯快速、高效地分類并分析這些數(shù)據(jù)的功能。比如，分析購買過品牌產(chǎn)品的這類人群屬性，就可以大體勾勒出這類人群是偏男性還是女性，以哪個年齡段為主，有什么興趣愛好等。當然，還有其他自定義分類方式?？梢哉f，這種基于企業(yè)自身業(yè)務特點和商業(yè)邏輯的分類操作，是后續(xù)創(chuàng)建人群細分，進行人群深入洞察的基礎，更將直接影響到品牌的廣告投放策略和最終的營銷效果。

那么，如何進行數(shù)據(jù)分類呢?聚類算法是很好的解決方式!即沒有事先預定的類別，類別數(shù)也不確定。只是根據(jù)“物以類聚”的原理，將具有相似特征和行為的用戶數(shù)據(jù)聚成一類。其是進行用戶數(shù)據(jù)分群處理的有效工具。

2)人群洞察(畫像)是關鍵

將數(shù)據(jù)映射到相應的類別中以后，DMP 就要開始進一步對這些不同類別數(shù)據(jù)背后的“人”進行分析和深入洞察了，即完成人群畫像操作。比如，繪制歷史購買過產(chǎn)品的人群畫像。

人群畫像，指用數(shù)據(jù)來描述出某一類人群的特征?？梢哉f，人群畫像承載了營銷者的兩大業(yè)務目標：一是如何準確了解現(xiàn)有目標用戶并制定營銷策略;二是如何在茫茫人海中拓展新客群，為品牌帶來更多商機和利潤。

提到人群畫像，你可能還聽過受眾/個體畫像。這兩者意義并不完全相同，千萬不要混淆。但是，人群畫像與受眾/個體畫像具有強關聯(lián)，即人群畫像的基礎在于對個體的準確描述。如果個體描述不準確，人群畫像也會有偏差。而對每一個個體描述的過程，我們稱之為“打標簽”的過程，即通過對用戶所有數(shù)據(jù)分析而得到的高度精煉的特征標識。

那么，DMP 如何為受眾貼上標簽，完成精準畫像呢?

2.1結合靜態(tài)受眾數(shù)據(jù)打標簽

靜態(tài)受眾數(shù)據(jù)是指基本保持穩(wěn)定的數(shù)據(jù)，主要包括人口屬性類數(shù)據(jù)，如性別、年齡、學歷、住址等;社會屬性類數(shù)據(jù)，如職業(yè)等;財富屬性類數(shù)據(jù)以及家庭情況數(shù)據(jù)等等。這些靜態(tài)數(shù)據(jù)從哪里來?可能從網(wǎng)站注冊信息、CRM 或市場調(diào)研等日常積累中來。如果前期數(shù)據(jù)收集工作做到位，則可以直接利用這些 PII(Personally Identifiable Information)，即個人識別信息來為受眾打上標簽。

此外，DMP 除了根據(jù)靜態(tài)受眾數(shù)據(jù)直接得到用戶標簽，還可以通過相關技術和算法對這些基礎數(shù)據(jù)信息進行處理、分析和推斷，從而得到受眾其他標簽。比如根據(jù)出生日期可以推算出星座、生肖、性格等;再比如根據(jù)家庭地址在高端住宅區(qū)，為此人打上“高消費人群”標簽等。

當然，出于法律保護和受眾隱私安全問題，有的企業(yè)無法獲得真實、公開的 PII 信息，這時，如何判斷受眾的靜態(tài)屬性呢?DMP 可以應用諸如 SVM(支持向量機)等判別分類的算法，并結合訓練和學習完的受眾樣本，把數(shù)據(jù)庫中的未分類數(shù)據(jù)項，根據(jù)特征或?qū)傩杂成涞浇o定類別中的某一類中。但不得不承認，這種操作方式需要強大的大數(shù)據(jù)技術和算法做支撐，執(zhí)行起來難度系數(shù)較高，且存在不準確性風險。

2.2結合動態(tài)受眾數(shù)據(jù)打標簽

動態(tài)受眾數(shù)據(jù)是指隨著用戶時間、地點、行為軌跡等的變化而常常變化的數(shù)據(jù)，主要是指用戶網(wǎng)絡行為類數(shù)據(jù)，如瀏覽、點擊、搜索、購買等，或社交類數(shù)據(jù)等。DMP 通過對這些動態(tài)數(shù)據(jù)進行分析與挖掘，能將用戶信息標簽化，進而形成完整的人物畫像。

其中，NLP(自然語言處理)是 DMP 系統(tǒng)中常見的能夠準確識別受眾所瀏覽網(wǎng)頁的主題內(nèi)容或者一個網(wǎng)站主題的常見算法。但在這里暫不贅述 NLP 原理，而是舉例另外一種和 NLP 功能類似的技術——美數(shù)“頁面關鍵詞提取”技術。其基于全方位整合用戶網(wǎng)上瀏覽頁面行為以后，通過正文提取(利用“基于行塊分布函數(shù)的通用網(wǎng)頁正文抽取”算法)、分詞處理(利用“逆向最大匹配算法”)、關鍵詞提取(利用“TF-IDF，一種用于資訊檢索與數(shù)據(jù)挖掘的常用加權技術算法)這三大流程步驟，來提取關鍵詞高度概括頁面主題內(nèi)容，然后對受眾的全部頁面關鍵詞標簽進行加權歸一化處理，量化出每個關鍵詞標簽對于受眾的重要程度，最終細粒度地推斷、刻畫出受眾對某件事、某領域的興趣程度，形成受眾畫像。

至此，DMP 完成了對受眾/個體的畫像。緊接著，要通過聚類模型和算法，將含有相似關鍵詞標簽的個體用戶聚合在一起，并通過加權歸一處理，最終形成某一類目標人群畫像，如歷史購買過產(chǎn)品的人群畫像。

四、數(shù)據(jù)應用

一旦應用企業(yè)級 DMP 系統(tǒng)完成了數(shù)據(jù)的收集、處理、分析工作，并通過建模鎖定了目標人群之后，DMP 就要正式發(fā)揮對企業(yè)的真正價值了，即將數(shù)據(jù)實際落地應用!

那么，DMP 有哪些應用，能夠為企業(yè)帶來什么幫助呢?

1)相似人群擴散

即根據(jù)數(shù)據(jù)分析與管理流程下繪制的目標人群畫像，DMP 通過 Look-alike 算法自動發(fā)現(xiàn)并找到與目標人群特征相似度最高的人群。

2)人群定向投放

即將 DMP 無縫對接到 DSP，并從人口屬性、行為興趣、時間地點、關鍵詞、媒體類型等多個維度創(chuàng)建投放定向設置(Campaign)，從而有效區(qū)隔和精準定位到目標受眾;并為每個 Campaign 進行合理的預算配比。

3)衡量廣告效果

對于多 Campaign 所產(chǎn)生的廣告投放效果，DMP 應該能具備實時統(tǒng)計和觀測的功能，并提供詳盡的數(shù)據(jù)報表，以便運營人員可以及時優(yōu)化、調(diào)整營銷策略和預算配比。

4)訪客召回營銷

即借助 DMP 實時追蹤用戶的訪問行為，并通過算法模型洞察其興趣程度，然后結合重定向技術輕松實現(xiàn)對高興趣人群的召回營銷，重新喚醒其購買欲望。

5)規(guī)劃渠道分發(fā)

DMP 除了能分析出每個 Campaign 效果以外，還應該能獲得各媒體渠道的多維度數(shù)據(jù)表現(xiàn)，并建立歸因分析模型，客觀的評價媒體渠道對于最終轉(zhuǎn)化的貢獻，用數(shù)據(jù)指導媒介策略。

6)指導創(chuàng)意內(nèi)容

廣告是否有效，除了在對的時間、地點，找到對的人以外，更要“說對話”!而 DMP 可以通過數(shù)據(jù)了解“人”的興趣愛好，并洞察其屬于哪一消費階段(購買前、中、后)，從而用數(shù)據(jù)來分析出哪些創(chuàng)意更吸引眼球，進行個性化廣告推薦;并且，還能用數(shù)據(jù)分析結合 DCO(動態(tài)創(chuàng)意優(yōu)化)技術，為消費者動態(tài)展示產(chǎn)品創(chuàng)意的同時，智能推薦強相關產(chǎn)品及其創(chuàng)意，挖掘和匹配消費者多個興趣點。

結語

數(shù)據(jù)是數(shù)字營銷的根基與命脈!如今，營銷者們正面臨著一場尋找、定位、吸引、留存、擴散關鍵受眾的全方位軍備競賽。因此，做自有 DMP 的先行者，擁有一個全生命周期的、強大的專屬 DMP 平臺，將助力營銷者以量的積累推動質(zhì)的飛躍，使品牌和產(chǎn)品最終在喧囂的市場中脫穎而出，決勝數(shù)字營銷!