站長資訊網在AI模型開發中，數據準備往往占據了大量時間。經過長時間的調研與訪問，我們發現用戶常常會遇到以下問題：
難以獲取與場景數據匹配的訓練數據。在具體業務場景中，模型的效果至關重要，我們往往會追求高精度模型效果，以保證模型能做到替代人工、降本增效的最終目的。眾所周知，訓練數據和場景數據的匹配程度會極大影響模型表現，越貼近使用場景的數據，更有可能訓練出超高精度的模型。但可能因為歷史原因沒有大量現場的存量數據、或者重新采集需要進行大量調研才能部署新的采集設備、又或者如果需要人工到業務現場去收集訓練素材，不僅成本高，一旦業務出現變動，也很難保證數據的實時性。
視頻場景數據采集及處理繁雜。在視頻監控場景中，通常是多個攝像頭覆蓋多角度長時間工作，產生的視頻文件體積大，處理困難。對于一個最普通的130W像素攝像頭在2M碼流的情況下，連續工作一天24小時，將會生成約21G的視頻文件。在進行視頻數據處理時，僅上傳下載就會耗費大量時間。對自動視頻截幀、自動上傳的需求呼聲越來越高。
數據量、豐富度和數據質量欠佳。好不容易采集到的大量業務數據，清洗也是一項巨大的工作，用戶曾向EasyDL團隊求助，自己采集好的圖像數據因為拍攝角度問題出現了整體偏斜的情況，影響標注效果和模型效果;也有用戶表示想快速去掉訓練集中不清晰的圖片，只保留高質量圖片進行訓練。這一系列數據清洗的需求也同時被EasyDL的研發工程師們關注著。
在了解開發者在數據層面的諸多需求后，百度大腦團隊為開發者帶來了一款全新的數據產品——EasyData。從名字即可看到，EasyData圍繞“Data數據”展開，重點關注AI模型開發過程中的數據采集、數據清洗、數據存儲、數據標注、數據分析等環節，解決以上開發者反饋的各類數據管理問題。
作為業內首個提供軟硬一體、端云協同的智能數據采集服務的平臺，EasyData可支持圖片、文本、音頻和視頻四類數據的處理，其中圖片數據支持了采集、清洗、標注一站式處理，且四類數據都已經支持將EasyData處理的數據應用于EasyDL模型訓練，便于開發者直接使用。
同時，EasyData延承了百度大腦Easy系列產品簡單易用的特性，界面簡潔，操作流暢。隨著產品的不斷升級與優化，EasyData也將會提供更多的數據方向支持，持續為開發者提供更全面與優質的智能數據服務。
接下來，我們從圖片數據采集、數據標注、數據清洗方面來了解EasyData的特色和功能。
【采集軟件助力快速獲取訓練數據】
在安防監控、工業質檢等諸多領域，用戶的數據來源將會是攝像頭或者相機，面對大量視頻和圖片，截幀、傳輸通常需要線下單獨操作，費時費力。考慮到用戶的這一需求，EasyData提供了一個官方采集軟件，可以簡單快速將攝像頭的數據進行采集與截幀，并傳輸到數據集。目前，這個采集軟件已經支持Linux、Windows操作系統，同時還支持了主流的ARM開發版RK3399。在攝像頭方面，支持市面上絕大多數USB的攝像頭，并同時支持RTSP網絡協議的攝像頭，力求最大程度覆蓋用戶的使用范圍。
進入EasyData首頁，如下圖所示，在【數據采集】的【攝像頭管理】中，即可一鍵下載本地軟件。此軟件支持圖形化界面配置，簡單易懂。用戶通過此軟件，可以添加設備并根據業務需求設置抽幀策略，并將圖片傳輸至指定目錄。在這兩個功能的加持之下，原始圖像數據接入EasyData變得十分方便，并且完成了圖片的云端管理，大量節省了單獨抽幀、傳輸的工作量。
如圖所示，在下載圖像采集SDK后，用戶可以在EasyData平臺中根據業務需求設置抽幀幀率、運行時間，提交之后，部署在攝像頭的SDK將會根據設定自行抽幀，用戶可在【查看云數據】中查看同步到EasyData的攝像頭數據，并保存到數據集中，進行下一步處理或訓練。
為了進一步方便用戶使用，目前已經支持同時接入多臺攝像頭設備。在對攝像頭進行云端管理時，用戶可以查看每一臺攝像頭的在線/離線狀態，確保攝像頭在線以保證數據的上傳。并且，通過篩選條件，用戶可以查看單個或多個攝像頭采集上傳的數據。
EasyData也支持數據閉環模型優化策略，通過云服務調用獲取數據，由于EasyData已經實現了與EasyDL的數據共享，這里的云服務指的是用戶在EasyDL平臺將模型發布為公有云API后，在授權EasyData獲取API調用數據的前提下，用戶可以通過EasyData查找公有云API中識別錯誤的數據，保存到數據集進行清洗、標注后，進行下一次模型優化訓練，最終提升EasyDL公有云API調用的模型效果。
整個流程，如下圖所示：
【多種標注方式省時省力】
在數據標注方面，EasyData不僅支持多類數據、多種模板的人工標注，還支持智能標注。只需用戶進行少量關鍵數據的操作(通常為完成30%左右的數據標注)，即可一鍵化完成剩余數據的處理，在多輪標注之后，可以保證模型訓練效果的持平，大大降低了數據標注的成本。目前智能標注已支持物體檢測、圖像分割、文本分類。
在多人協同標注方面，EasyData可以和百度眾測進行對接，未來還將推出全新的多人標注，讓用戶在平臺直接進行標注任務的管理、分發和驗收，更為便捷地完成協同操作，在短時間內完成對大量數據的處理。
【智能清洗快速提升數據質量】
在影響模型效果的諸多因素中，數據質量始終是一個關鍵問題。尤其在眾多使用EasyDL進行CV方向模型開發的用戶中，圖片的清晰程度、被檢測物體的具體位置都會對模型的最終表現產生影響。
數據清洗是很多用戶期待已久的功能。EasyData不負眾望，為用戶提供了這一服務。在圖像方向，EasyData為用戶帶來了去模糊、去近似、旋轉、鏡像和裁剪等清洗和處理功能。其中，去模糊、去近似、裁剪等功能非常試用于視頻數據抽幀后的原始圖片數據處理，適用于視頻監控等業務場景應用獲取高質量數據。
- 去模糊：在使用去模糊功能時，可以在圖片上方看到一個清晰度調整條，通過拖拽圓點選取對應清晰度取值，將會僅保留清晰度高于此值的圖片。以下圖為例，當我們選擇“保留清晰度大于等于此值的圖片：4959”時，僅有最右側清晰度為5000的圖片被保留下來。
- 去近似：與去模糊相似，用戶可以在圖片上方看到一個近似度選取條，通過拖拽圓點選取對應相似度取值，只會保存相似度高于此值的圖片。以下圖為例，當用戶選擇“兩圖相似度大于等于此值保留一張：0.57”時，僅有相似度為0.75的第一張圖將會被保留下來。
- 旋轉：根據示例中參考圖片，通過下拉框可以選擇不同的順時針旋轉角度，最終針對所有圖片做旋轉操作。
- 鏡像：水平鏡像是指將圖像的左右部分以圖像垂直中軸線為中心進行鏡像對換;垂直鏡像是指將圖像的上下兩部分以圖像水平中軸線為中心進行鏡像對換;中心鏡像是指將圖像以圖像水平中軸線和垂直中軸線的交點為中心進行鏡像對換，相當于將圖像先后進行水平鏡像、垂直鏡像。根據示例中參考圖片，通過下拉框選擇不同的鏡像方式，最終針對所有圖片做對應鏡像操作。
- 剪裁：在隨機圖片中通過拖拽裁剪框邊緣各點調節框大小，最終針對所有圖片只保留框選出區域。
需要注意的是，考慮到用戶數據的重要性，用戶在進行數據清洗之后，可以選擇保留清洗前后的兩個數據集，而非只能將清洗掉的數據進行徹底刪除。目前，數據清洗已經支持了CV方向，在未來EasyData的不斷優化中，將會覆蓋更多方向，預置更為豐富的處理和清洗能力。
為了方便用戶在模型的開發中可以更好地借助EasyData的能力，進行高效精準的數據處理，EasyData與EasyDL的模型開發和訓練流程已經實現了無縫對接，支持數據集直接引用到模型訓練任務中，一站式獲取高精度AI模型。用戶可以在EasyData進行數據采集、上傳與數據清洗等處理工作，無需單獨在本地進行數據處理再上傳，節省了操作時間，在操作界面和流程上也更為順暢。
EasyData的目標，旨在為用戶提供一站式智能數據服務，從數據采集、上傳，到數據的標注、清洗，覆蓋數據管理全流程，使用EasyData一鍵完成數據準備，縮短模型開發時間，并幫助用戶在更優化的數據加持下，訓練出效果更佳的AI模型，更好地賦能各類業務場景，加速AI落地。
立即搜索EasyData，或點擊https://ai.baidu.com/easydata/，即可體驗。
特別提醒：本網內容轉載自其他媒體，目的在于傳遞更多信息，并不代表本網贊同其觀點。其原創性以及文中陳述文字和內容未經本站證實，對本文以及其中全部或者部分內容、文字的真實性、完整性、及時性本站不作任何保證或承諾，并請自行核實相關內容。本站不承擔此類作品侵權行為的直接責任及連帶責任。如若本網有任何內容侵犯您的權益，請及時聯系我們，本站將會在24小時內處理完畢。
