「深度神經(jīng)網(wǎng)絡(luò)」（deep neural network）具體是怎樣工作的？

時(shí)間：2023-12-18 05:12:02 | 來源：網(wǎng)站運(yùn)營(yíng)

時(shí)間：2023-12-18 05:12:02 來源：網(wǎng)站運(yùn)營(yíng)

「深度神經(jīng)網(wǎng)絡(luò)」（deep neural network）具體是怎樣工作的？：本文將從深度神經(jīng)網(wǎng)絡(luò)本質(zhì)的視角解釋其黑盒特性。這篇解讀來源于CVPR2017一篇Oral的文章，作者希望通過尋找到網(wǎng)絡(luò)中間層與一些語義概念的對(duì)應(yīng)關(guān)系，從而實(shí)現(xiàn)對(duì)于CNN網(wǎng)絡(luò)潛在的表達(dá)能力的定量化分析，歸納發(fā)現(xiàn)深度神經(jīng)網(wǎng)絡(luò)的本質(zhì)，從而進(jìn)一步解釋其黑盒特性。

作者首先建立了一個(gè)完善的測(cè)試數(shù)據(jù)集，叫做Broden（Broadly and Densely Labeled Dataset），每張圖片都在場(chǎng)景、物體、材質(zhì)、紋理、顏色等層面有pixel-wise的標(biāo)定。接下來，將該數(shù)據(jù)集中的每一張圖喂給需要分析的網(wǎng)絡(luò)，拿到每個(gè)feature map 上的響應(yīng)結(jié)果，進(jìn)一步分析該層feature map對(duì)應(yīng)的語義關(guān)系，歸納結(jié)果。整體流程如下圖a所示。







a. 整體流程







b. Broden圖片樣例

【Unit與Concept的關(guān)系】

作者希望將每個(gè)卷積核單元（unit）與一些語義上的概念（concept）對(duì)應(yīng)起來，從而使用這些對(duì)應(yīng)關(guān)系以及不同concept對(duì)應(yīng)的unit的分布情況來表征該網(wǎng)絡(luò)的表達(dá)能力。

通過如下公式，作者首先定義某一個(gè)單元的與語義上的概念的相關(guān)程度：







也即，通過計(jì)算該層feature map二值化激活區(qū)域與不同語義Ground Truth結(jié)果的交并比來確定該層所應(yīng)該屬于的語義結(jié)果。其中，x代表輸入圖像，c代表concept（概念），k代表某個(gè)單元, Sk(x) 是該單元特征圖像feature map A(x)縮放回輸入大小后的結(jié)果，Mk(x) ≡ Sk(x) ≥ Tk，Mk(x)為大于某個(gè)閾值的激活區(qū)域。







AlexNet Conv5 Concept 分布

本文設(shè)定對(duì)于IoU(k,c) > 0.04，則該單元屬于某一個(gè)語義概念。如果某個(gè)層對(duì)應(yīng)多個(gè)語義概念，則取IoU最大的；只有唯一一個(gè)語義概念對(duì)應(yīng)的層被稱之為特定概念單元（unique concept unit），而這些特定概念層的數(shù)量的大小與分布情況，則定量的表示了該網(wǎng)絡(luò)的可解釋性（Interpretability）。

【結(jié)果分析】

為了探究網(wǎng)絡(luò)的可解釋性（Interpretability）的是否是與units的排列分布有關(guān)，作者對(duì)于某一層的所有unit進(jìn)行random linear combination（下圖Q），也即打亂該排布方式，而后將打亂的次序歸位（下圖Q^(-1)），觀察concept的變化情況得到結(jié)果。具體如下圖所示：







其中，rotation的大小代表了random Q的程度大小，而打亂這些units的排布并不會(huì)對(duì)于網(wǎng)絡(luò)的最終輸出產(chǎn)生影響，同時(shí)也不會(huì)改變?cè)摼W(wǎng)絡(luò)的表達(dá)能力（discriminative power）。







可以從結(jié)果中發(fā)現(xiàn)，隨著rotation的逐漸變大，unique concept unit的數(shù)量開始急劇減少，因此CNN網(wǎng)絡(luò)的可解釋性是受到unit的排序的影響的。（寫者注，這個(gè)結(jié)論強(qiáng)依賴于公式(1)的定義，是否是恰當(dāng)?shù)膶?duì)于可解釋性的描述有待討論）







通過對(duì)于AlexNet中conv1~conv5層中各單元響應(yīng)情況的分析，我們可以歸納出: 淺層的單元更傾向于響應(yīng)簡(jiǎn)單的紋理、顏色特征，而高層的單元?jiǎng)t對(duì)于更具體的物體有響應(yīng)，例如人臉、花朵等等。







在網(wǎng)絡(luò)結(jié)構(gòu)實(shí)驗(yàn)中，作者將常見的網(wǎng)絡(luò)結(jié)構(gòu)在不同的數(shù)據(jù)集上進(jìn)行訓(xùn)練，從中我們可以發(fā)現(xiàn)ResNet152的表達(dá)能力最強(qiáng)，而不同的訓(xùn)練集對(duì)于同一網(wǎng)絡(luò)的表達(dá)能力也有影響，Places 365更多是場(chǎng)景分類，而且圖片數(shù)量較ImageNet更多，因此網(wǎng)絡(luò)會(huì)有更多的concept響應(yīng)單元。







訓(xùn)練過程的探究實(shí)驗(yàn)中，我們可以發(fā)現(xiàn)，網(wǎng)絡(luò)在訓(xùn)練初期更容易學(xué)習(xí)到物體的底層的特征，而到后期，逐漸學(xué)習(xí)到更為高階的一些物體特征；而在Fine-tune的實(shí)驗(yàn)中，作者也發(fā)現(xiàn)，隨著finetune的進(jìn)行，不少的層的concept對(duì)應(yīng)關(guān)系也會(huì)因?yàn)閒inetune數(shù)據(jù)集不同而發(fā)生對(duì)應(yīng)數(shù)據(jù)集的遷移轉(zhuǎn)變。

【QA問答】

在2017年CVPR的Poster中，我們有幸遇到了本文的第二作者周博磊童鞋，并且就本文中的一些問題與他進(jìn)行了深入地交流，Poster可以從以下地址獲?。?span >http://netdissect.csail.mit.edu/poster.pdf

問答的記錄如下：

如何理解文中提到的rotation實(shí)驗(yàn)

A：rotation指的是對(duì)于某個(gè)層中的units的組合進(jìn)行打亂，然后再將打亂的關(guān)系還原，從本質(zhì)上來說，這樣一種打亂不會(huì)導(dǎo)致最后的結(jié)果發(fā)生改變，然而當(dāng)隨機(jī)打亂的程度加大（rotation變大）則會(huì)發(fā)生sematic的concepts急劇下降（AlexNet conv5 從72下降為18），因此，unit之間的位置排序是有關(guān)系的，或者說sematic不在feature space， 而是在unit維度的，也即單個(gè)神經(jīng)元是有意義的，不是像以前說的整個(gè)conv是有語義的。

同一個(gè)網(wǎng)絡(luò)，做不同的任務(wù)，那么網(wǎng)絡(luò)的interpretability是否有不同

A：首先從論文的試驗(yàn)中可以看到不同的數(shù)據(jù)集會(huì)有bias，因此其中的concept就會(huì)有不同，例如ImageNet中非常多種類的Dogs，那么concept會(huì)有多數(shù)偏向于dogs類；在同樣的數(shù)據(jù)集上訓(xùn)練，從理論上來說，如果dominant保持一樣，則大部分應(yīng)該是一致的。

如何保證結(jié)果的正確性？

A：對(duì)于超出測(cè)試集的類別，本文的方法確實(shí)不能夠進(jìn)行量化分析的，但目前來說這樣一個(gè)數(shù)據(jù)集是能找到的最大的了，我們這邊也會(huì)通過一些方式去擴(kuò)充這樣一個(gè)數(shù)據(jù)集。

如何確認(rèn)哪個(gè)層更重要，是否有考慮過weights，因?yàn)閣eights同樣會(huì)影響網(wǎng)絡(luò)的后續(xù)輸出？

A：可以通過與concept的IOU的大小來確定層的重要性，IOU越大的話這個(gè)層作為某個(gè)concept的概率也越大，那么這個(gè)層更加重要；對(duì)于weights方面，作者表示目前沒有考慮。

如何比較不同網(wǎng)絡(luò)之間的優(yōu)劣

A: 根據(jù)interpretability可以去推測(cè)某個(gè)網(wǎng)絡(luò)的能力大小，本文認(rèn)為，interpretability越大的話網(wǎng)絡(luò)的表達(dá)能力越強(qiáng)，性能也越強(qiáng)


論文下載鏈接：https://arxiv.org/pdf/1704.05796.pdf
（版權(quán)歸原作者所有，資源僅供學(xué)習(xí)交流使用）







【自動(dòng)駕駛公司Momenta2019校園招聘正式啟動(dòng)！點(diǎn)擊查看詳情】 與我們一同打造更好的人工智能，創(chuàng)造更好的生活，成就更好的你！

------------------------------------------------ 本站機(jī)構(gòu)號(hào)：Momenta，打造自動(dòng)駕駛大腦。 基于深度學(xué)習(xí)的環(huán)境感知、高精度地圖、駕駛決策技術(shù)，讓無人駕駛成為可能。

本站專欄：Paper Reading，集聚自動(dòng)駕駛知名大咖的前沿知識(shí)分享平臺(tái)，歡迎申請(qǐng)加入或直接投稿。