機(jī)器之心ArXiv 每周廣播電臺(tái)

參加者：杜偉、楚航、羅若天

本周重要論文包括AAAI 2020 最佳論文、最佳學(xué)生論文以及Hinton 小組提出的新無監(jiān)督方法SimCLR。

目錄：

視覺表示對(duì)比學(xué)習(xí)的簡(jiǎn)單框架WinoGrande: 大規(guī)模的對(duì)抗性Winograd 模式挑戰(zhàn)混合可分和不可分割商品的公平劃分通過近端迭代進(jìn)行高效神經(jīng)架構(gòu)搜索中國(guó)2019 年新型冠狀病毒爆發(fā)的流行病學(xué)和臨床特征準(zhǔn)備政策One: 通過主動(dòng)學(xué)習(xí)構(gòu)建世界BERT 真的很強(qiáng)大嗎A Strong Baseline for Natural Language Attack on Text Classification and EntailmentArXiv Weekly Radiostation：更多有關(guān)NLP、CV 和ML 的精選論文（帶音頻）。

論文1：視覺表征對(duì)比學(xué)習(xí)的簡(jiǎn)單框架

作者：Ting Chen、Simon Kornblith、Mohammad Norouzi、Geoffrey Hinton 論文鏈接：https://arxiv.org/pdf/2002.05709.pdf

摘要：如今，ImageNet 上圖像識(shí)別準(zhǔn)確率的性能提升通常每次只有零點(diǎn)幾個(gè)百分點(diǎn)。然而，圖靈獎(jiǎng)獲得者Geoffrey Hinton 等谷歌研究人員的最新研究卻一舉提升了無監(jiān)督學(xué)習(xí)的指標(biāo)。 7-10%，甚至可以媲美監(jiān)督學(xué)習(xí)的效果。 SimCLR 是一種簡(jiǎn)單明了的方法，允許AI 在沒有類標(biāo)簽的情況下學(xué)習(xí)視覺表示，并具有監(jiān)督學(xué)習(xí)的準(zhǔn)確性。論文作者表示，在對(duì)ImageNet 上1% 的圖像標(biāo)簽進(jìn)行微調(diào)后，SimCLR 可以達(dá)到85.8% 的Top-5 準(zhǔn)確率。 —— 僅用1% 的標(biāo)簽就優(yōu)于AlexNet。

Hinton 在推特上推薦了他的領(lǐng)導(dǎo)團(tuán)隊(duì)引入的SimCLR 無監(jiān)督方法。

SimCLR與之前的各種自監(jiān)督方法（用ImageNet預(yù)訓(xùn)練）在ImageNet上的Top-1精度對(duì)比，以及ResNet-50的監(jiān)督學(xué)習(xí)效果（灰）。

推薦：Hinton小組推出的這種新的無監(jiān)督學(xué)習(xí)方法在Twitter上引起了熱議，也受到了機(jī)器學(xué)習(xí)社區(qū)的廣泛關(guān)注。

論文2：WinoGrande: 大規(guī)模對(duì)抗性Winograd 模式挑戰(zhàn)

作者：Keisuke Sakaguchi、Ronan Le Bras、Chandra Bhagavatula、Yejin Choi 論文鏈接：https://mp.weixin.qq.com/s/QpT-oiocE1n2ZwD4-r-3oQ 摘要：Winograd Schema Challenge (WSC) 是常識(shí)推理的基準(zhǔn)測(cè)試273 個(gè)專家撰寫的問題，專門涉及依賴于選擇偏好和單詞關(guān)聯(lián)的統(tǒng)計(jì)模型。但最近，許多型號(hào)在該基準(zhǔn)測(cè)試中的性能都達(dá)到了90%。因此，研究人員希望了解這些模型是否真正實(shí)現(xiàn)了強(qiáng)大的常識(shí)能力。

因此，研究人員提出了WINOGRANDE，一個(gè)包含44k 個(gè)問題的大規(guī)模數(shù)據(jù)集。該數(shù)據(jù)集的規(guī)模和難度都比以前的數(shù)據(jù)集更大。該數(shù)據(jù)集的構(gòu)建涉及兩個(gè)步驟：首先使用眾包設(shè)計(jì)問題，然后使用新的AFLITE 算法減少系統(tǒng)偏差，從而將人類可感知的單詞關(guān)聯(lián)轉(zhuǎn)換為機(jī)器可檢測(cè)的嵌入。嵌入關(guān)聯(lián)。目前最好的SOTA 模型可以實(shí)現(xiàn)59.4 79.1% 的性能，比面部性能水平(94%) 低15-35%（絕對(duì)值）。這種性能波動(dòng)取決于訓(xùn)練數(shù)據(jù)量（2% 到100%）。

WSC 問題是成對(duì)出現(xiàn)的。其中，這兩道題基本相似，都有兩個(gè)回答項(xiàng)。該問題包含一個(gè)觸發(fā)詞來指示哪個(gè)選項(xiàng)是正確的。

使用AFLITE 算法檢測(cè)到的數(shù)據(jù)集偏差用X 標(biāo)記。

推薦：該論文榮獲AAAI 2020年度最佳論文獎(jiǎng)。文章中提出的WINOGRANDE是一個(gè)很好的遷移學(xué)習(xí)資源；但這也表明我們現(xiàn)在高估了模型的常識(shí)推理能力。研究人員希望這項(xiàng)研究能夠引起人們對(duì)減少算法偏差的關(guān)注。

論文3：混合可分割和不可分割商品的公平劃分

作者：貝曉輝、李子浩、劉金艷、劉勝新、陸新航論文鏈接：https://arxiv.org/pdf/1911.07048.pdf 摘要：本文研究資源包含可分割商品和不可分割商品時(shí)的公平分配問題。例如，無嫉妒(EF) 和無嫉妒可以應(yīng)用于單一商品（最多一種商品的無嫉妒，EF1）。這種經(jīng)典的公平概念不能直接應(yīng)用于混合商品的分配問題。在本研究中，提出了一種新的混合商品公平概率-嫉妒-自由（EFM），它是EF和EF1對(duì)混合商品集的直接泛化結(jié)果。

研究人員證明，對(duì)于任意數(shù)量的智能體，EFM 分配始終存在。他們還提出了一種有效的算法來計(jì)算兩個(gè)智能體和n個(gè)智能體的EFM分配問題，并對(duì)可分割的商品進(jìn)行分段線性評(píng)估。最后，研究人員放寬了對(duì)無嫉妒的要求，轉(zhuǎn)而針對(duì)混合商品（-EFM）的無嫉妒屬性，提出了一種算法，使得一定數(shù)量的代理和某些不可分割的商品成為可能。用過的。對(duì)于數(shù)量和1/ 的情況，求時(shí)間多項(xiàng)式的-EFM 分布。

算法1：EFM算法。

推薦：本文榮獲AAAI 2020年度最佳學(xué)生論文獎(jiǎng)。作者來自南洋理工大學(xué)、清華大學(xué)和香港大學(xué)。

論文4：通過近端迭代進(jìn)行高效神經(jīng)架構(gòu)搜索

作者：Quanming Yao、Ju Xu、Wei-Wei Tu、Zhanxing Zhu 論文鏈接：https://arxiv.org/abs/1905.13577 摘要：神經(jīng)架構(gòu)搜索（NAS）以其識(shí)別比手工構(gòu)建架構(gòu)更好的架構(gòu)的能力而聞名。注意力。近年來，可微搜索方法因其可以在幾天內(nèi)獲得高性能NAS而成為研究熱點(diǎn)。但由于超級(jí)網(wǎng)的建設(shè)，仍然面臨計(jì)算成本巨大、性能低下的問題。

在本文中，我們提出了一種基于近端迭代（NASP）的高效NAS方法。與之前的工作不同，NASP 將搜索過程重新定義為具有離散約束和模型復(fù)雜性正則化器的優(yōu)化問題。由于新目標(biāo)很棘手，我們進(jìn)一步提出了一種通過近端啟發(fā)式優(yōu)化的有效算法。這樣，NASP不僅比現(xiàn)有的可微搜索方法更快，而且還可以找到更好的架構(gòu)并平衡模型復(fù)雜性。最終，針對(duì)不同任務(wù)的大量實(shí)驗(yàn)表明，NASP 在測(cè)試精度和計(jì)算效率方面都取得了更好的性能，發(fā)現(xiàn)了更好的模型結(jié)構(gòu)，同時(shí)比DARTS 等現(xiàn)有技術(shù)快了10 倍以上。此外，NASP 消除了操作之間的依賴性。

在所有這些工作中，最突出的是DARTS[1]，因?yàn)樗Y(jié)合了可微性和小搜索空間的優(yōu)點(diǎn)，實(shí)現(xiàn)了單元內(nèi)的快速梯度下降。然而，其搜索效率和識(shí)別架構(gòu)的表現(xiàn)仍然不盡如人意。

第三步，研究人員利用相鄰迭代算子生成離散結(jié)構(gòu)；然后第四步，更新連續(xù)結(jié)構(gòu)參數(shù)（單步梯度下降，無二階近似）；最后，在離散網(wǎng)絡(luò)結(jié)構(gòu)下，更新網(wǎng)絡(luò)權(quán)重。

實(shí)驗(yàn)結(jié)果表明，DARTS的二階比一階慢得多，而NASP不僅比DARTS快得多，而且還可以達(dá)到與其他最先進(jìn)方法相當(dāng)?shù)臏y(cè)試性能。

推薦：在本周結(jié)束的AAAI 2020 上，F(xiàn)ourth Paradigm 提出了一種基于Proximal Iterations 的NAS 方法，速度比DARTS 快10 倍以上。

論文5：中國(guó)2019年新型冠狀病毒疫情的流行病學(xué)和臨床特征

作者：楊陽、路慶斌、劉明進(jìn)、王一星等論文鏈接：https://www.medrxiv.org/content/10.1101/2020.02.10.20021675v1 摘要：近日，醫(yī)學(xué)預(yù)印本平臺(tái)發(fā)表了一篇名為《中國(guó) 2019 新型冠狀病毒爆發(fā)流行病學(xué)和臨床特征》 的論文medRxiv 上線，總結(jié)了8,866 例COVID-19 患者的臨床和流行病學(xué)特征。這是迄今為止最大規(guī)模的COVID-19 肺炎臨床研究。本文使用了30個(gè)省級(jí)行政單位的8866名患者的數(shù)據(jù)，其中確診患者4021名（45.35%），其余為疑似患者。數(shù)據(jù)截至2020年1月26日[注]。這是目前樣本量最大的COVID-19疫情臨床回顧性研究。

本文得出以下主要結(jié)論：近一半（47.7%）的患者年齡在50歲及以上；每10萬人發(fā)病率存在顯著性別差異，男性為0.31，女性為0.27（P0.001）；新冠肺炎對(duì)老年男性的影響比其他群體更大，診斷率和病死率最高；重癥和輕癥患者比例分別為25.5%和69.9%，其余4.5%的受訪者無肺炎癥狀；潛伏期中位數(shù)為4.75天，四分位距為3.0-7.2天；總體CFR（病死率）估計(jì)約為3.06%（95%置信區(qū)間2.02-4.59%），低于SARS-CoV（9.2%）和MERS-CoV（34.4%），死亡率為年齡60歲、男性、初診時(shí)已發(fā)展為重癥肺炎（符合一項(xiàng)或多項(xiàng)條件）的患者比例較高。 R0 值（基本再生數(shù)）估計(jì)為3.77（95% 置信區(qū)間3.51-4.05），根據(jù)潛伏期和感染期，R0 的敏感性分析范圍在2.23 至4.82 之間。

病死率估計(jì)。以上均為2020年1月26日之前出現(xiàn)癥狀不足14天的病例。在這組統(tǒng)計(jì)過程中，d可能有5至8天不等。

年齡和性別因素對(duì)新型冠狀病毒感染的影響。 A：所有患者按年齡和性別的分布； B：確診病例； C：疑似病例。 D：按性別統(tǒng)計(jì)，僅限中國(guó)大陸確診病例； E：武漢報(bào)告確診病例； F：武漢以外地區(qū)報(bào)告確診病例。

建議：根據(jù)研究結(jié)果，研究人員認(rèn)為新型冠狀病毒的傳染性與SARS-CoV相似，但病死率較低。應(yīng)及早發(fā)現(xiàn)老年患者，并在癥狀變得嚴(yán)重之前及時(shí)治療，尤其是男性患者。但需要注意的是，該論文尚處于同行評(píng)審階段，其結(jié)果還有待評(píng)估，不能用于指導(dǎo)臨床實(shí)踐。

論文6：Ready Policy One: 通過主動(dòng)學(xué)習(xí)建設(shè)世界

作者：Philip Ball、Jack Parker-Holder、Aldo Pacchiano、Stephen Roberts 等論文鏈接：https://arxiv.org/pdf/2002.02693.pdf 摘要：基于模型的強(qiáng)化學(xué)習(xí)（MBRL）為樣本提供了高效的學(xué)習(xí)，是一個(gè)經(jīng)常被認(rèn)為有前景的方向在連續(xù)控制任務(wù)上取得SOTA 結(jié)果。然而，許多現(xiàn)有的MBRL 方法依賴于貪婪策略和探索啟發(fā)法的結(jié)合，甚至那些利用原則性探索獎(jiǎng)勵(lì)的方法也可以以特定方式構(gòu)建雙重目標(biāo)。

在本文中，我們介紹了Ready Policy One (RP1)，這是一個(gè)將MBRL 視為主動(dòng)學(xué)習(xí)問題的框架。研究人員的目標(biāo)是用盡可能少的樣本改進(jìn)世界模型。 RP1 通過利用混合目標(biāo)函數(shù)來實(shí)現(xiàn)這一目標(biāo)，該函數(shù)在優(yōu)化過程中的適應(yīng)性至關(guān)重要，允許算法在不同的學(xué)習(xí)階段權(quán)衡獎(jiǎng)勵(lì)與探索。此外，一旦有足夠豐富的軌跡批次（trajectory batch）可用于改進(jìn)模型，研究人員將引入一種原則性機(jī)制來終止樣本收集。

給定時(shí)間步長(zhǎng)10 的中值最佳性能比較提升到四次方。

RP1關(guān)鍵組成部分的控制變量研究。

建議：在實(shí)驗(yàn)階段，研究人員在各種連續(xù)控制任務(wù)上嚴(yán)格評(píng)估了他們的方法，結(jié)果顯示出比現(xiàn)有方法具有統(tǒng)計(jì)學(xué)上顯著的優(yōu)勢(shì)。

論文7：BERT 真的是對(duì)文本分類和蘊(yùn)涵進(jìn)行自然語言攻擊的強(qiáng)大基線嗎？

作者：Di Jin，Zhijing Jin，Joey Tianyi Zhou，Peter Szolovits 論文鏈接：https://arxiv.org/pdf/1907.11932.pdf 摘要：眾所周知，CV 領(lǐng)域的對(duì)抗性攻擊已經(jīng)被廣泛研究，但NLP 領(lǐng)域的對(duì)抗性攻擊領(lǐng)域文本的離散性使其難以推進(jìn)。對(duì)于NLP模型來說，在人們眼中變化不大的文本會(huì)被模型區(qū)別對(duì)待，甚至誤判。這些都是特別致命且迫切需要的研究方向。這是與MIT 合作的AAAI 2020 Oral 文章，自然語言對(duì)抗樣本生成。我們將詳細(xì)講解如何簡(jiǎn)單高效地生成自然語言對(duì)抗樣本，并高度攻擊7個(gè)數(shù)據(jù)集進(jìn)行文本分類和文本推理。

研究人員使用不同的數(shù)據(jù)集探索了對(duì)抗性攻擊對(duì)兩個(gè)重要NLP 任務(wù)的有效性：文本分類和文本蘊(yùn)涵。

對(duì)于每個(gè)數(shù)據(jù)集，研究人員在訓(xùn)練集上訓(xùn)練了三個(gè)SOTA 模型，并獲得了接近原始實(shí)現(xiàn)的測(cè)試集準(zhǔn)確率分?jǐn)?shù)。

我們的攻擊系統(tǒng)與其他已發(fā)布系統(tǒng)的比較。

推薦：本文第二作者金志晶，畢業(yè)于香港大學(xué)，目前在亞馬遜上海人工智能實(shí)驗(yàn)室做實(shí)習(xí)研究。

ArXiv 每周廣播電臺(tái)

機(jī)器之心與楚航、羅若天發(fā)起的ArXiv周刊廣播電臺(tái)合作，根據(jù)7篇論文，選出本周更重要的論文，其中包括NLP、CV、ML領(lǐng)域的10篇精選論文，并提供音頻格式的論文。概要介紹，詳細(xì)信息如下：

10 篇來自機(jī)器之心的NLP 論文00:0019:30

本周的10 篇精選NLP 論文是：

1. 使用流式注釋進(jìn)行訓(xùn)練。 （來自張同濤、紀(jì)恒、張世福、Marjorie Freedman）

2. 檢測(cè)大規(guī)模語言模型生成的文本的局限性。 （來自Lav R. Varshney、Nitish Shirish Keskar、Richard Socher）

3. 句子級(jí)別命名實(shí)體鏈接的聯(lián)合嵌入。 （來自石偉、張思源、張志偉、程洪、徐宇）

4. ConvLab-2: 用于構(gòu)建、評(píng)估和診斷對(duì)話系統(tǒng)的開源工具包。 （朱琪、張正、方艷、李翔、隆一隆信、李金超、彭寶林、高劍峰、朱曉燕、黃敏烈）

5.口語理解系統(tǒng)中查詢重寫的預(yù)訓(xùn)練。 （來自陳錚、范星、凌遠(yuǎn)、Lambert Mathias、郭晨雷）

6. 探索緊急溝通中的結(jié)構(gòu)性歸納偏差。 （來自Agnieszka Sowik、Abhinav Gupta、William L. Hamilton、Mateja Jamnik、Sean B. Holden、Christopher Pal）

7. 使用域傳輸和數(shù)據(jù)合成對(duì)低資源數(shù)據(jù)進(jìn)行抽象概括。 （艾哈邁德·馬古達(dá)、黛安·利特曼）

8. 學(xué)習(xí)比較以更好地訓(xùn)練和評(píng)估開放域自然語言生成模型。 （摘自周望春樹、徐科）

9. 將視覺語義納入扎根空間內(nèi)的句子表示中。 （來自Patrick Bordes、Eloi Zablocki、Laure Soulier、Benjamin Piwowarski、Patrick Gallinari）

10. Snippext: 增強(qiáng)數(shù)據(jù)半監(jiān)督意見挖掘。 （苗正杰、李玉良、王曉蘭、陳望秋）

機(jī)器之心00:0020:34 的10 篇簡(jiǎn)歷

本周的10 篇簡(jiǎn)歷精選論文是：

1. 通過排名統(tǒng)計(jì)自動(dòng)發(fā)現(xiàn)和學(xué)習(xí)新的視覺類別。 （來自Kai Han、Sylvestre-Alvise Rebuffi、Sebastien Ehrhardt、Andrea Vedaldi、Andrew Zisserman）

2. 用于學(xué)習(xí)3D 形狀的連續(xù)測(cè)地線卷積。 （摘自Zhangsihao Yang、Or Litany、Tolga Birdal、Srinath Sridhar、Leonidas Guibas）

3.子空間膠囊網(wǎng)絡(luò)。 （來自Marzieh Edraki、Nazanin Rahnavard、Mubarak Shah）

4. 重新審視低秩局部連通性的空間不變性。 （來自Gamaleldin F. Elsayed、Prajit Ramachandran、Jonathon Shlens、Simon Kornblith）

5. 訓(xùn)練數(shù)據(jù)中的性別平衡如何影響人臉識(shí)別精度。 （來自維托·阿爾比羅、張凱、凱文·W·鮑耶）

6. 帶有文本指導(dǎo)的圖像到圖像翻譯。 （來自李博文、齊小娟、Philip H.S. Torr、Thomas Lukasiewicz）

7. 用于自動(dòng)路面裂縫檢測(cè)和測(cè)量的深度卷積神經(jīng)網(wǎng)絡(luò)集合。 （范準(zhǔn)、李沖、陳穎、Paola Di Mascio、陳小鵬、朱桂杰、Giuseppe Loprencipe）

8. PointHop++: 用于3D 分類的點(diǎn)集輕量級(jí)學(xué)習(xí)模型。 （來自張敏、王一凡、Pranav Kadam、劉珊、C.-C. Jay Kuo）

9. 在不確定性中尋找新奇。 （來自Jacob C. Reinhold、Yufan He、Shizhong Han、Yunqiang Chen、Dashan Gau、Junghoon Lee、Jerry L. Prince、Aaron Carass）

10. 驗(yàn)證醫(yī)學(xué)圖像翻譯中的不確定性。（來自Jacob C. Reinhold、Yufan He、Shizhong Han、Yunqiang Chen、Dashan Gau、Junghoon Lee、Jerry L. Prince、Aaron Carass）

機(jī)器之心00:0019:30 的10 ML 論文

本周的10 篇精選ML 論文是：

1. 隨機(jī)梯度法對(duì)非凸優(yōu)化的適應(yīng)性。 （來自Samuel Horvth、Lihua Lei、Peter Richtrik、Michael I. Jordan）

2. 弱監(jiān)督的解開而不妥協(xié)。 （來自Francesco Locatello、Ben Poole、Gunnar Rtsch、Bernhard Schlkopf、Olivier Bachem、Michael Tschannen）

3.具有倒置點(diǎn)積注意力路由的膠囊。 （來自Yao-Hung Hubert Tsai、Nitish Srivastava、Hanlin Goh、Ruslan Salakhutdinov）

4. Cyclic Boosting——一種可解釋的監(jiān)督機(jī)器學(xué)習(xí)算法。 （菲利克斯·威克、烏爾里?！た藵蔂?、邁克爾·范特）

5. DynamicPPL: 用于動(dòng)態(tài)概率模型的類斯坦速度。 （穆罕默德·塔里克、徐凱、馬丁·特拉普、葛宏、Zoubin Ghahramani）

6.探索、發(fā)現(xiàn)和學(xué)習(xí)：狀態(tài)覆蓋技能的無監(jiān)督發(fā)現(xiàn)。 （維克多·坎波斯、亞歷山大·特洛特、熊彩明、理查德·索切爾、澤維爾·吉羅-尼托、喬迪·托雷斯）

7. 實(shí)現(xiàn)無不可約性的混合物比例估計(jì)。 （摘自姚宇、劉同良、韓波、龔明明、牛剛、杉山正史、陶大成）

8.關(guān)于理查森外推法在機(jī)器學(xué)習(xí)中的有效性。 （來自弗朗西斯·巴赫，SIERRA）

9.學(xué)習(xí)連續(xù)控制中轉(zhuǎn)移的狀態(tài)抽象。 （來自Kavosh Asadi、David Abel、Michael L. Littman）

10. 循環(huán)語言模型相對(duì)于不完整解碼的一致性。 （來自Sean Welleck、Ilia Kulikov、Jaedeok Kim、Richard Yuanzhe Pang、Kyunghyun Cho）