經(jīng)過數(shù)千小時(shí)的工作，麻省理工學(xué)院的研究人員發(fā)布了第一個(gè)由非母語人士撰寫的完全注釋英語句子的主要數(shù)據(jù)庫。領(lǐng)導(dǎo)這個(gè)項(xiàng)目的研究人員已經(jīng)證明，用英語寫作的非母語人士的語法怪癖可能是語言洞察力的來源。但是他們希望他們的數(shù)據(jù)集也可以導(dǎo)致應(yīng)用程序改善計(jì)算機(jī)對非英語母語人士的口語或書面語言的處理。

　　“英語是互聯(lián)網(wǎng)上使用最多的語言，有超過10億人使用，”負(fù)責(zé)新項(xiàng)目的電子工程和計(jì)算機(jī)科學(xué)研究生Yevgeni Berzak說。“大多數(shù)在世界上講英語或制作英文文本的人都是非母語人士。當(dāng)我們科學(xué)地學(xué)習(xí)英語或者我們?yōu)橛⒄Z進(jìn)行自然語言處理時(shí)，這種特性往往被忽視。“

　　大多數(shù)自然語言處理系統(tǒng)使智能手機(jī)和其他計(jì)算機(jī)應(yīng)用程序能夠處理用普通語言表達(dá)的請求，它們基于機(jī)器學(xué)習(xí)，其中計(jì)算機(jī)系統(tǒng)在大量訓(xùn)練數(shù)據(jù)集中尋找模式。“如果你想要處理非經(jīng)典學(xué)習(xí)者語言，就你可以使用的培訓(xùn)材料而言，你只能訓(xùn)練標(biāo)準(zhǔn)英語，”Berzak解釋說。

　　另一方面，受過非標(biāo)準(zhǔn)英語培訓(xùn)的系統(tǒng)可以更好地處理非母語英語人士的特質(zhì)，例如傾向于刪除或添加介詞，替換他人的特定時(shí)態(tài)，或?yàn)E用特定的輔助動(dòng)詞。實(shí)際上，研究人員希望他們的工作能夠?qū)е抡Z法修正軟件針對其他語言的母語人士。

　　研究人員的數(shù)據(jù)集包括5,124個(gè)句子，這些句子來自英語作為第二語言(ESL)的學(xué)生撰寫的考試文章。這些句子的分布大致相等，來自10種語言的母語人士，這些語言是世界人口約40%的主要語言。

　　數(shù)據(jù)集中的每個(gè)句子都包含至少一個(gè)語法錯(cuò)誤。句子的原始來源是劍橋大學(xué)公開的集合，其中包括錯(cuò)誤的注釋，但沒有其他語法或句法信息。

　　為了提供額外的信息，Berzak從語言學(xué)研究生Carolyn Spadine領(lǐng)導(dǎo)的電氣工程和計(jì)算機(jī)科學(xué)(EECS)，語言學(xué)和機(jī)械工程系招聘了一組麻省理工學(xué)院的本科生和研究生。

　　在如何注釋語法正確和錯(cuò)誤纏繞的句子的八周培訓(xùn)后，學(xué)生們開始直接處理數(shù)據(jù)。有三個(gè)級別的注釋。第一部分涉及基本的詞性 - 一個(gè)詞是一個(gè)名詞，一個(gè)動(dòng)詞，一個(gè)介詞等等。接下來是對詞性的更詳細(xì)描述 - 復(fù)數(shù)與單數(shù)名詞，動(dòng)詞時(shí)態(tài)，比較和最高級形容詞等。

　　接下來，注釋者使用一種稱為通用依賴形式主義的相對較新的注釋方案繪制了句子單詞之間的句法關(guān)系。句法關(guān)系包括哪些名詞是動(dòng)詞的對象，動(dòng)詞是其他動(dòng)詞的輔助詞，形容詞修飾哪些名詞，等等。

　　注釋器為每個(gè)句子的校正和未校正版本創(chuàng)建了句法圖表。這需要一些先前的概念性工作，因?yàn)檎Z法錯(cuò)誤會使單詞的句法角色難以解釋。

　　Berzak和Spadine為他們的注釋方案編寫了一份20頁的指南，其中大部分涉及處理錯(cuò)誤纏繞的句子。處理此類句子的一致性對于任何設(shè)想的數(shù)據(jù)集應(yīng)用都是必不可少的：如果在不同的訓(xùn)練示例中對錯(cuò)誤進(jìn)行了不同的描述，則機(jī)器學(xué)習(xí)系統(tǒng)無法學(xué)會識別錯(cuò)誤。

　　然而，研究人員的方法提供了很好的證據(jù)，證明注釋者可以一致地繪制不符合語法的句子。對于每個(gè)句子，一個(gè)評估者完全注釋它; 另一個(gè)人審查了注釋并標(biāo)記了任何不同意見的領(lǐng)域; 第三個(gè)人就這些分歧作出了裁決。

　　關(guān)于如何處理不合語法的句子存在一些分歧 - 但是對于如何處理語法句也存在一些分歧。一般而言，兩種類型的句子的一致程度相當(dāng)。

　　研究人員的數(shù)據(jù)集現(xiàn)在是監(jiān)督通用依賴性(UD)標(biāo)準(zhǔn)的組織提供的59個(gè)數(shù)據(jù)集之一。Berzak還為數(shù)據(jù)集創(chuàng)建了一個(gè)在線界面，以便研究人員可以查找特定類型的錯(cuò)誤，由特定語言的母語人士生成的句子等。

　　“我發(fā)現(xiàn)ESL [數(shù)據(jù)集]最有趣的是，使用UD開辟了很多可能性，可以系統(tǒng)地將ESL數(shù)據(jù)不僅與原生英語進(jìn)行比較，而且還可以與使用UD注釋語料庫的其他語言進(jìn)行比較，”Joakim說。 Nivre，瑞典烏普薩拉大學(xué)計(jì)算語言學(xué)教授，也是UD標(biāo)準(zhǔn)的開發(fā)者之一。“希望其他ESL研究人員能夠效仿他們的例子，這將使得能夠在幾個(gè)方面進(jìn)行進(jìn)一步的比較，ESL到ESL，ESL到本地等等。”

　　“對不正確和糾正的句子進(jìn)行注釋的決定使這些材料非常有價(jià)值，”Nivre補(bǔ)充道。“例如，我可以看到，如何將其作為機(jī)器翻譯任務(wù)，系統(tǒng)學(xué)習(xí)從ESL翻譯成英語。當(dāng)前的語料庫本質(zhì)上將提供訓(xùn)練這樣一個(gè)系統(tǒng)所需的并行數(shù)據(jù)，雙方語法注釋的可用性開辟了更多樣化的技術(shù)方法。“

　　這項(xiàng)工作部分由國家科學(xué)基金會資助，由麻省理工學(xué)院的大腦，頭腦和機(jī)器中心主持

　　免責(zé)聲明：本網(wǎng)站圖片，文字之類版權(quán)申明，因?yàn)榫W(wǎng)站可以由注冊用戶自行上傳圖片或文字，本網(wǎng)站無法鑒別所上傳圖片或文字的知識版權(quán)，如果侵犯，請及時(shí)通知我們，本網(wǎng)站將在第一時(shí)間及時(shí)刪除。

　　資源可以為非英語母語人士提供語言見解和實(shí)際應(yīng)用

　　新算法可以使家用機(jī)器人更好地識別雜亂環(huán)境中的物體

　　計(jì)算機(jī)系統(tǒng)通過視覺圖靈測試

　　智能電視也能玩社交下一個(gè)競爭風(fēng)口要來了

　　開啟了全球超大型油輪智能航運(yùn)新的一頁

　　為喀斯特貴州煤炭開采的自動(dòng)化和智能化破題

　　小型無人機(jī)飛行通常不安全

　　全球領(lǐng)先的汽車制造商中國大疆今日宣布改進(jìn)地理圍欄技術(shù)

　　從一次腦部掃描到醫(yī)學(xué)人工智能的更多信息

　　初步報(bào)告審查麻省理工學(xué)院施瓦茨曼計(jì)算學(xué)院的選項(xiàng)

　　資源可以為非英語母語人士提供語言見解和實(shí)際應(yīng)用

　　新算法可以使家用機(jī)器人更好地識別雜亂環(huán)境中的物體

　　計(jì)算機(jī)系統(tǒng)通過視覺圖靈測試

　　Nicholas Roy設(shè)計(jì)機(jī)器人以應(yīng)對現(xiàn)實(shí)世界的挑戰(zhàn)

　　智能電視也能玩社交下一個(gè)競爭風(fēng)口要來了

　　開啟了全球超大型油輪智能航運(yùn)新的一頁

　　為喀斯特貴州煤炭開采的自動(dòng)化和智能化破題

　　安防機(jī)器人這種高度智能化的技術(shù)給安防市場帶來了新的商機(jī)

　　機(jī)器人的應(yīng)用讓我們對梅雨期發(fā)生的洪災(zāi)訊災(zāi)有了更好的應(yīng)對

　　最大的挑戰(zhàn)還在于讓機(jī)器學(xué)習(xí)網(wǎng)絡(luò)防御在現(xiàn)實(shí)復(fù)雜網(wǎng)絡(luò)中奏效

　　聯(lián)邦航空局強(qiáng)制要求無人機(jī)上的外部登記號碼

　　2019-06-23

　　由于NAPO為蘇-34提供了保證S-70首次亮相

　　2019-06-21

　　空中客車直升機(jī)公司賽峰集團(tuán)參加VTOL技術(shù)公司

　　2019-06-21

　　維斯塔斯引進(jìn)Sulzer Schmid和WKA Blade Service

　　2019-06-19

　　I2C使用自動(dòng)化和基于UX的設(shè)計(jì)使情境意識更加經(jīng)濟(jì)實(shí)惠

　　2019-06-19

　　Carnegie Mellon正在從Oblivion中保存舊軟件

　　2019-06-17

　　Taylor訴FAA對商業(yè)無人機(jī)操作員的意義

　　FAA關(guān)于機(jī)場UAS檢測系統(tǒng)的聲明

　　VR音樂會平臺MelodyVR虧損1470萬美元

　　Optelos與Consortiq合作推出無人機(jī)艦隊(duì)管理平臺

　　想象力電視合作伙伴與無人機(jī)救援救援運(yùn)動(dòng)

　　84％的雇主會考慮缺乏必要經(jīng)驗(yàn)的候選人如果您的資格不合格這里就是如何找到工作的

　　麥當(dāng)勞與漢堡王有什么區(qū)別

　　Penny Stocks將于2019年4月使用技術(shù)分析購買