ICLR 2022博客賽道出爐：接收21篇，特斯拉AI總監(jiān)也有稿

時間：2023-03-15 10:40:01 | 來源：電子商務(wù)

時間：2023-03-15 10:40:01 來源：電子商務(wù)

編輯：LRS

【新智元導(dǎo)讀】博客在技術(shù)交流中占據(jù)著重要的角色，但因其內(nèi)容的隨意性，似乎讓博客與頂會論文無緣。最近ICLR 2022的博客賽道出爐21篇接收文章，意在用非正式的語言討論正經(jīng)的科學(xué)問題。

把博客當(dāng)成論文投，是種什么體驗？

ICLR 2022在去年征稿時就加了這樣一個實驗性質(zhì)的新玩法：博客投稿（blog post track），相比論文來說，博客的寫作更加隨意，但也更容易發(fā)現(xiàn)新問題、激發(fā)新的思考。

接收博文的內(nèi)容主要是討論以前在ICLR發(fā)表過的論文，為了保持客觀中立，不能寫與自己利益沖突的工作，比如自己以前的文章或是源自相同機(jī)構(gòu)或公司的論文。

博客經(jīng)由雙盲評審以保證內(nèi)容的質(zhì)量、問題的新穎性，即論述的清晰度、新的理論或?qū)嶒炓娊?，可重?fù)的擴(kuò)展實驗等。

本次共接收了21篇博客文章，其中包括一篇特斯拉AI高級總監(jiān)Andrej Karpathy的受邀報告，回顧了33年前的神經(jīng)網(wǎng)絡(luò)與今天的區(qū)別。

網(wǎng)站地址：https://iclr-blog-track.github.io/

接收博客的研究內(nèi)容五花八門，從各種神經(jīng)網(wǎng)絡(luò)trick的重新思考到特定領(lǐng)域的近期論文總結(jié)，看起來絕對比看論文要省腦力。

博客的寫法也是百無禁忌，使用表情包，以輕松、口語化的對話讓讀者更快理解內(nèi)容，確實能夠起到科學(xué)傳播和討論的作用。

文章鏈接：https://iclr-blog-track.github.io/2022/03/25/ppo-implementation-details/

并且文章里也是直接「貼代碼」，可復(fù)現(xiàn)的概率直接拉滿。

下面簡要介紹幾篇接收的博客文章。

Adam的收斂性

博客鏈接：https://iclr-blog-track.github.io/2022/03/25/does-adam/

研究人員重新審視了Adam的（非）收斂行為，并簡要回顧了Reddi等人的非收斂結(jié)果和Shi等人的收斂結(jié)果。這兩個結(jié)果是否相互矛盾？如果不是，Shi等人的收斂分析是否符合Adam的實際設(shè)置？理論和實踐之間的差距有多大？這篇博客從多個不同的角度討論這些問題。實驗結(jié)果將表明，這個差距實際上是不可忽略的，關(guān)于Adam收斂性的討論還遠(yuǎn)遠(yuǎn)沒有結(jié)束。

文章的指導(dǎo)作者為羅智泉，于1984年在北京大學(xué)數(shù)學(xué)系獲學(xué)士學(xué)位，1989年獲得美國麻省理工學(xué)院博士學(xué)位，1998年成為加拿大麥克馬斯特大學(xué)終身教授。

2014年5月，羅智泉教授被聘為香港中文大學(xué)（深圳）副校長，主管學(xué)術(shù)和科研。自2016年3月起，羅智泉教授兼任深圳市大數(shù)據(jù)研究院院長。自 2018年 6月起，羅智泉教授兼任香港中文大學(xué)（深圳）-騰訊 AI LAB 機(jī)器智能聯(lián)合實驗室主任。2020年9月，羅智泉教授兼任香港中文大學(xué)（深圳）—深圳市大數(shù)據(jù)研究院—華為未來網(wǎng)絡(luò)系統(tǒng)優(yōu)化創(chuàng)新實驗室主任。

羅智泉教授的研究主要集中在優(yōu)化理論、算法設(shè)計以及其在信息科學(xué)中的應(yīng)用。

從幾何學(xué)看深度學(xué)習(xí)

圖神經(jīng)網(wǎng)絡(luò)（GNN）一直是機(jī)器學(xué)習(xí)研究的一個活躍領(lǐng)域，用于解決圖數(shù)據(jù)中的各種問題。圖是表示實體（作為節(jié)點）之間關(guān)系的一種有效的方式，有時節(jié)點和邊可以有空間特征，如節(jié)點的三維坐標(biāo)和邊的方向。如何在考慮這些幾何特征的同時對圖的拓?fù)浣Y(jié)構(gòu)進(jìn)行推理？這篇博客討論了發(fā)表在ICLR 2021上的論文Learning from Protein Structure with Geometric Vector Perceptrons。

博客鏈接：https://iclr-blog-track.github.io/2022/03/25/euclidean_geometric_graph/

文章的第一作者Zichen Wang是AWS下亞馬遜機(jī)器學(xué)習(xí)解決方案實驗室的應(yīng)用科學(xué)家，2016年在西奈山伊坎醫(yī)學(xué)院獲得博士學(xué)位。研究興趣包括自然語言處理、生成模型、圖神經(jīng)網(wǎng)絡(luò)、對比學(xué)習(xí)和強(qiáng)化學(xué)習(xí)的應(yīng)用。在生命科學(xué)和醫(yī)療保健領(lǐng)域有超過10年的經(jīng)驗，致力于開發(fā)利用生物醫(yī)學(xué)數(shù)據(jù)的機(jī)器學(xué)習(xí)模型，用于藥物發(fā)現(xiàn)和人類疾病建模。

重新思考ValueDice

許多實際應(yīng)用涉及順序決策。對于這些應(yīng)用，代理人實施一個政策來選擇行動并使長期回報最大化。模仿學(xué)習(xí)方法（Imitation learning）從專家的演示中獲得最優(yōu)策略，并成功應(yīng)用于游戲、推薦系統(tǒng)和機(jī)器人學(xué)等。模仿學(xué)習(xí)的里程碑之一是引入生成式對抗性模仿學(xué)習(xí)（GAIL），以對抗方式進(jìn)行狀態(tài)-動作分布匹配。即使在專家演示稀缺的情況下，GAIL也被經(jīng)驗證明可以匹配專家的表現(xiàn)。代價是GAIL需要大量的環(huán)境交互，也限制了GAIL在在線環(huán)境下的應(yīng)用。

其中一個改進(jìn)策略就是ValueDice，作為一種off-policy算法，ValueDice在交互效率方面優(yōu)于其他方法?，F(xiàn)有的結(jié)果都表明ValueDice是完美的。這篇博客研究的核心問題為：這些改進(jìn)是否得益于更先進(jìn)的算法設(shè)計？并對算法內(nèi)的「矛盾」做出解釋。

博客鏈接：https://iclr-blog-track.github.io/2022/03/25/rethinking-valuedice/

文章的作者Ziniu Li是香港中文大學(xué)（深圳）的博士生，導(dǎo)師為羅智泉，研究興趣包括強(qiáng)化學(xué)習(xí)、優(yōu)化和學(xué)習(xí)理論。

33年前的卷積

博客鏈接：https://iclr-blog-track.github.io/2022/03/26/lecun1989/

1989年，圖靈獎得主Yann LeCun首次在論述網(wǎng)絡(luò)結(jié)構(gòu)時使用「卷積」一詞，距今已有33年。通過跟現(xiàn)代卷積神經(jīng)網(wǎng)絡(luò)對比，我們可以站在上帝視角來看當(dāng)年到底哪些問題困擾著LeCun，影響了卷積神經(jīng)網(wǎng)絡(luò)的進(jìn)一步發(fā)展；還可以了解到深度學(xué)習(xí)領(lǐng)域在這33年發(fā)展期間到底發(fā)生了哪些變化。

除了完整復(fù)現(xiàn)LeCun當(dāng)年的代碼外，還用上許多現(xiàn)代深度學(xué)習(xí)技巧，將圖像識別的錯誤率從5%降低到1.25%，借助更強(qiáng)大的計算設(shè)備，訓(xùn)練時間也從三天降低到了幾十秒。

文章作者為特斯拉AI高級總監(jiān)Andrej Karpathy，博士畢業(yè)于斯坦福大學(xué)，師從李飛飛，主要研究研究卷積/循環(huán)神經(jīng)網(wǎng)絡(luò)架構(gòu)與計算機(jī)視覺應(yīng)用，以及它們在計算機(jī)視覺、自然語言處理以及二者交叉領(lǐng)域的應(yīng)用。

為啥開始接收博客？

組織者介紹，開設(shè)博客通道的另一個原因是機(jī)器學(xué)習(xí)領(lǐng)域的「浮夸風(fēng)」，幾乎所有的論文都面臨可重復(fù)性危機(jī)和評審危機(jī)。

每年頂會的投稿數(shù)量都在增加，為了在競爭中收獲Accept，投稿人有動機(jī)在論文中夸大實驗結(jié)果，「虛假繁榮」一定程度上會削弱科學(xué)社區(qū)的權(quán)威性。

與之相對的，博客文章在學(xué)術(shù)圈的地位與日俱增，所有人都可以對論文發(fā)表自己的見解，并進(jìn)行公開、人性化且透明的討論，能夠?qū)茖W(xué)界有實質(zhì)性的提升。

博客更像是「成功者的游戲」，許多成熟的研究人員或者大公司才會有精力維持一個博客，并以此來提高自己的知名度，比如Google AI, Meta AI, DeepMInd, Nvidia都有博客網(wǎng)站，專門刊登一些團(tuán)隊的研究成果介紹，并有專門的作者對文章進(jìn)行潤色。

不過畢業(yè)找工作、評績效的時候，人家不會看你發(fā)表了多少篇博客，只會看論文的數(shù)量和質(zhì)量。

所以寫科學(xué)博客大多都是自我驅(qū)動的，賠本賺呦喝，要求大部分機(jī)器學(xué)習(xí)從業(yè)者都來寫博客做貢獻(xiàn)是不合理的。

ICLR下場，就相當(dāng)于給博客蓋了個「官方認(rèn)證」的戳，以鼓勵研究人員回顧過去的工作、總結(jié)成果或強(qiáng)調(diào)一些現(xiàn)有的不足之處，提供一種新的方式來總結(jié)機(jī)器學(xué)習(xí)社區(qū)的科學(xué)知識。

不過頂會接收博客畢竟還屬于新鮮玩意，未來如何發(fā)展還未可知，改變或許就是好事。

參考資料：

https://iclr-blog-track.github.io/