站長資訊網經過3個月的角逐，愛奇藝聯合全球多媒體領域頂尖會議ACM International Conference on Multimedia(以下簡稱ACM MM)共同舉辦的多模態人物識別競賽于近日正式落下帷幕。本次大賽，吸引了包括卡內基梅隆大學、倫敦大學學院、埃克塞特大學、清華大學、北京大學等國內外頂尖高校，以及百度、中興、京東、美圖、英偉達等知名企業在內的共255支團隊同場競技。其中，來自于北京郵電大學自動化學院、北京郵電大學網研院網絡智能中心以及南京大學計算機科學與技術系的團隊分別獲得前三名。 獲得第一名的北京郵電大學自動化學院團隊將多模態視頻人物識別精準度提升到了91.14%，愛奇藝攜手頂尖參賽團隊在多模態人物識別領域再次取得突破。此次競賽的頒獎儀式將在10月21日至25日在法國尼斯舉辦的第27屆ACM MM 大會上進行。
目前，全世界眾多科技公司以及學術機構發布視頻數據集，側重解決視頻識別各種難題。其中，牛津大學發布過VoxCeleb2數據集，包含6千多人，15萬視頻，側重于解決說話人識別的問題;香港中文大學和商湯科技合作發布的包括1218人，12.7萬視頻CSM數據集，為了更好地檢索識別視頻中的說話的人物。以色列特拉維夫大學的Youtube Faces DB，擁有3425個視頻片段與1595個人物，用以解決非約束環境下的人臉識別問題。此次，愛奇藝發起的多模態人物識別挑戰賽中，對參賽者公布了通過嚴格人工標注、更具有挑戰性的多模態人物數據集(iQIYI-VID-2019)，包含10000名明星人物、200小時、20萬條影視劇與短視頻數據集，更接近實際應用場景，其中包括臉部，頭部，身體及聲紋4個模態的特征，為學術界及工業界利用多模態特征去更全面解決場景復雜、人體動作多變、化妝等人物識別難題提供了便利條件。參賽團隊無需使用自己的計算資源去提取特征，這樣大大降低該競賽對硬件資源的門檻，吸引了更多全球頂尖優秀的學術機構團隊參與，加快提升人物識別技術不斷向前演進。此次拔得頭籌的北京郵電大學自動化學院團隊，在愛奇藝公布的4個模態特征的基礎上，重新訓練了對齊的人臉識別模型，利用數據增強和這5種模態信息訓練完成多模態分類模型，在數據集難度提升的情況下，將多模態視頻人物識別精準度由去年的88.65%提升到了91.14%，提升幅度達2.5pp，成為多模態視頻人物識別競賽中的全球最佳算法。
多模態人物識別技術精準度進一步提升意味著，愛奇藝可以通過對復雜場景下精準識別為用戶帶來更優的視頻消費體驗，進一步提升娛樂系統的效率，例如，通過識別短視頻、UGC內容中模糊、側面、距離遠等復雜場景中的人物，更好地為用戶精準推薦內容，加強愛奇藝個性化內容分發能力;在AI雷達中，通過對視頻人物的精準識別，通過只看TA的功能讓用戶享受到更為個性化的互動體驗;可以使HomeAI智能語音交互平臺提升用戶的交互體驗;以及讓AIWorks視頻智能創作對長視頻進行更精準的拆條，進一步提升愛奇藝愛創媒資系統制作爆款劇的效率等。
愛奇藝首席技術官兼基礎架構和智能內容分發事業群總裁劉文峰表示，多模態人物識別競賽不斷取得突破，除了對愛奇藝娛樂生態產生重要價值之外，對人物識別技術的研發，技術成果轉化效率，相關人才培養都會產生深遠的影響。未來，愛奇藝將不斷與國內外學術機構、行業領先者合作，不斷提升前沿技術的探索與實踐。
