UGC網站的內容審核管理是怎么做的？

時間：2024-02-05 08:05:01 | 來源：網站運營

時間：2024-02-05 08:05:01 來源：網站運營

UGC網站的內容審核管理是怎么做的？：一般是機器和人工審核的雙重過濾。根據不同業(yè)務需求，信息量及風險權衡，人機審核比例會有所不同。

不廢話，直接上干貨。

1、 文字內容方面

1）使用敏感詞過濾系統(tǒng)。

信息審核工作都是在信息審核平臺上進行的，網站的運營審核系統(tǒng)中會預先設定一批關鍵詞庫并對詞組進行排列組合，這批詞庫又會根據敏感性進行分類。系統(tǒng)會阻止用戶發(fā)布敏感詞匯，或將用戶發(fā)出來的含有敏感詞的內容直接刪除。 對于某些敏感性較低的詞匯，發(fā)出來不會立即刪除，需要經過審核人員過目進行二次審核。

2）建立反垃圾信息（anti-spam）機制。

我們經常會遇到一些垃圾信息，比如郵箱中收到的各種垃圾郵件、新浪微博的僵尸粉以及論壇中層出不窮的廣告貼等等。有人會不停的去尋找網站的漏洞以及規(guī)則，使用機器發(fā)布這些垃圾廣告從而達到營利目的。anti-spam主要是指通過技術手段對數據進行過濾和篩選，將我們認定為不合格的數據清理掉，將系統(tǒng)認為可疑的信息進行提示分類。anti-spam對審核工作也是一個相輔相成的內容。

2、 圖片內容方面

對于圖片內容的審核，傳統(tǒng)的審核方式主要依賴于人工。圖片不同于文字，無法提取關鍵詞，對于大多數互聯網公司在技術上無法達到，否則也就不會出現鑒黃師這樣的職業(yè)了。

另一種方式是引導用戶使用舉報功能。目前很多帶有社交屬性的網站和App，都會為用戶開通舉報功能。用戶在瀏覽內容中發(fā)現色情視頻、圖片等不良信息，可以通過點擊相應按鈕或者鏈接的形式，向網站管理員舉報，并由網站管理員完成刪圖或者封號等后續(xù)處理。從目前實踐情況來看，這個方式雖取得了一定效果，但仍無法杜絕不良信息的傳播。

現在還有種最新的使用人工智能技術的審核方式。目前市面上已經有成熟的第三方公司提供API接口，如圖普科技的圖像識別云平臺，可以輔助網站進行機器審核。這種方式主要是基于深度學習圖像識別云，通過針對目標特征專門訓練的素材庫和識別模型來甄別存在的違規(guī)圖片。使用時卻很簡單，只需通過接入API調用識別服務即可。

如果自建系統(tǒng)做機器審核的話會非?？拥?。計算機視覺領域是技術含量非常高的領域，不僅在技術層面有著嚴苛要求，還需要大量的訓練數據的積累、復雜的圖像識別算法、昂貴的硬件系統(tǒng)和相應的工程化開發(fā)的支持。技術、人才、設備、大數據缺一不可。尤其是樣本數量，直接決定著機器訓練后的準確度。以圖普科技的樣本庫為例，有超過1億的色情樣本和千萬級別的極端宗教主義樣本，你感受感受。

像七牛云、融云、UCloud、迅雷、酷狗、秒拍等大型互聯網企業(yè)都已經接入了圖普科技的圖像識別云平臺。七牛和融云在自己的平臺上也都開放了通用的鑒黃服務接口，如果你們公司數據放在他們那里，可以直接調用這個功能的。

3、視頻內容方面

任何文件都有且只有一個獨一無二的MD5信息值，MD5可以說是文件的“數字指紋”。對于含有視頻內容的網盤或視頻網站，采取的方式是建立涉黃文件的MD5數據庫，用戶上傳后自動分析MD5是否合法，則能避免涉黃文件的重復分享。審核人員再對通過自動檢測的每條視頻進行審查。

網監(jiān)有一個巨大的危險MD5庫，庫內藏著各種不能流于世的視頻。視頻網站都需要接入這個庫，并在實際審核中增加自己的庫存。此外，包括標題、簡介、評論等文字部分也是在審核的范疇。

通過MD5之后的視頻，第二步會經歷機器審核的過濾。機器審核視頻同樣是基于深度學習圖像識別云，實際也是將視頻截圖，由機器審核每一張截圖的安全性。不過具體是3秒截一張還是5秒截一張，松緊度由視頻網站自己控制。

對于不能通過的視頻，機器審核視頻會給出兩類結果：確定不能通過的，這類的準確率幾乎能達到99.5%以上；僅作參考的，準確率在95%到97%，這可能意味著該視頻需要再次進行人工審核。從整個行業(yè)來說，機器基本能篩過99%的視頻，只有1%需要再次動用人工。如果是150萬的視頻，那人工只需要審核1.5萬個。

對于像優(yōu)酷、愛奇藝這樣的大型視頻網站采取的是先審后發(fā)，而且更突出的是PGC部分的內容。然而在國內，多數UGC都是“先發(fā)后審”的，尤其在直播/短視頻領域，強調草根主播，強調時效性。由于每天新產生的內容量太大，為了減輕審核工作，他們也有很多竅門，比如短視頻領域中，會對新用戶和高危用戶的上傳會優(yōu)先審核，是“重點關注對象”；明星、大V等賬號會被設置成為信任賬戶，默認他們發(fā)布的視頻不用通過審核。在系統(tǒng)方面，則會建立反垃圾屏蔽系統(tǒng)，記錄用戶行為、關鍵詞、頭像MD5識別等進行用戶和垃圾攔截；對于直播領域，則會要求在畫面播出前完成機器審核（直播一般會有5-60s不等的延遲），避免“造人事件”再次發(fā)生。

最后提醒一下，視頻網站除了會對發(fā)布違禁視頻的用戶封號處理之外，還會把其IP匯報給網監(jiān)，據說散布危害國家安全的視頻判六年。所以千萬別踩到雷。