站長資訊網
目前，全球存在著超過6900種語言，這是自然語言處理研究者們的巨大噩夢。因為大多數語言都是數據稀疏的，研究者找不到足夠多的數據來單獨訓練成熟模型。
但幸運的是，許多語言共享大量的基礎結構。比如在詞匯層面上，語言通常具有源自同一來源的單詞，例如，英語中的“desk”和德語中的“Tisch”都來自拉丁語“disus”。同樣，許多語言也以相似的方式標記語義角色，例如使用后置位置標記中文和土耳其語的時空關系。
谷歌今天發布了一個自然語言處理系統基準測試Xtreme，其中包括對12種語言家族和40種語言進行的9項推理任務。這家科技巨頭的研究人員斷言，它能夠評估人工智能模型是否能夠學習跨語言的知識，這對于越來越多的自然語言應用程序是有用的。
谷歌也在官博上介紹了Xtreme：
https://ai.googleblog.com/2020/04/xtreme-massively-multilingual-multi.html
這一基準測試的目標是促進人工智能多語言學習領域的研究，在這個領域，已經有大量工作研究了是否可以利用數據稀疏的語言結構來訓練可靠的機器學習模型。
選擇Xtreme作為基準測試是為了最大限度地擴大多樣性，擴大現有任務的覆蓋面，以及提供訓練數據。其中包括一些未被充分研究的語言，例如在印度南部、斯里蘭卡和新加坡使用的達羅毗荼語系語言泰米爾語，主要在印度南部使用的泰盧固語和馬拉雅拉姆語，以及在非洲使用的尼日爾-剛果語系斯瓦希里語和約魯巴語。
Xtreme的9項任務涵蓋了一系列基本范式，包括句子分類(即將一個句子分配給一個或多個類)和結構化預測(預測實體和詞類等對象) ，以及句子檢索(對一組記錄進行查詢匹配)和高效的問答。
▲ Google的Xtreme基準支持的任務
模型要先在跨語言學習的文本上進行預訓練后，才能在Xtreme上進行測試。然后，考慮到英語是最有可能具有標記數據的語言，他們必須針對特定任務的英語數據進行微調。Xtreme評估了這些模型的零點跨語言轉移性能(zero-shot cross-lingual transfer performance)，也就是在其他語言中沒有看到任務特定的數據。對于在其他語言中可以使用標記數據的任務，Xtreme還比較了對語言內數據的微調，并通過獲得所有任務的零概率得分最終得出一個綜合分數。
在Xtreme初步實驗中，谷歌的一個研究團隊發現，即使是最先進的多語言模型，如BERT、XLM、XLM-r和M4，也都沒有達到預期水平。其中，BERT對西班牙語的準確率為86.9/100，日語則只有49.2/100，要轉換成非拉丁文字也十分困難，而所有的模型都很難預測到在英語訓練數據中沒有看到的遠方語言的實體，比如，在印度尼西亞語和斯瓦希里語上的準確率分別為58.0和66.6，而在葡萄牙語和法語上的準確率為82.3和80.1。
Google Research高級軟件工程師Melvin Johnson和DeepMind科學家Sebastian Ruder在一篇博客文章中寫道：“我們發現，盡管模型在大多數現有的英語任務中，表現已接近人類，但在許多其他語言中表現尚不足預期。總的來說，在模型和模擬環境中，英語和其它語言的表現之間仍然存在巨大差距，這也表明，跨語言遷移的研究潛力很大。”
Xtreme基準測試的代碼和數據已經在GitHub上開源，還有運行各種基線的示例。
GitHub鏈接：https://github.com/google-research/xtreme
特別提醒：本網內容轉載自其他媒體，目的在于傳遞更多信息，并不代表本網贊同其觀點。其原創性以及文中陳述文字和內容未經本站證實，對本文以及其中全部或者部分內容、文字的真實性、完整性、及時性本站不作任何保證或承諾，并請自行核實相關內容。本站不承擔此類作品侵權行為的直接責任及連帶責任。如若本網有任何內容侵犯您的權益，請及時聯系我們，本站將會在24小時內處理完畢。
