站長資訊網2018年下半年，某省為推動社會治安管理和社會安全防控水平，由省公安廳發起其省會城市視頻監控建設項目，配合該省會城市進一步完善針對大型活動的安防設施建設。項目建設內容包括視頻監控平臺、傳輸網絡、前端監控點、監控中心、車牌識別、可視化指揮、等業務系統，其中大容量高性能的后端存儲是支撐整個業務系統的基礎，也是建設的重要環節。
項目需求
經過與用戶的多次交流和溝通，我們了解到，該視頻監控項目對存儲系統具有以下要求：
1、上層視頻監控管理、編解碼、回放、車牌識別、人臉識別等核心業務系統均使用文件接口進行視頻和圖片的讀寫。
2、由于系統需要服務重大活動，其視頻和圖片的存儲周期長于其他平安城市項目中對存儲周期的要求，因此數據容量要求巨大，一期項目中，單集群容量達4PB，后續仍需在此基礎上持續擴容。
3、擴容后，上層應用仍需要使用統一命名空間的文件系統進行數據訪問，因此要求文件存儲系統具備按需水平橫向擴展的能力。
4、系統需要對海量視頻、圖片進行車牌、人臉的快速識別，文件存儲系統需要支持數億級海量文件，且在海量文件場景下，新建文件、文件檢索和數據讀寫性能不變。
5、視頻監控系統對接前端數千個高清攝像頭，文件存儲系統需支持6GB/s以上的讀寫帶寬。此外，由于業務系統同時也需要對車牌和人臉等大量圖片等小文件進行快速識別，意味著文件存儲系統需要滿足對大文件及小文件混合讀寫的高性能要求。
6、由于數據量巨大，在保證數據可靠性前提下，考慮到總體建設成本，要求存儲系統的磁盤容量利用率高于60%。
由于視頻監控的整體業務系統需要使用文件接口對數據進行訪問，客戶在前期考察了大量集中式文件存儲和分布式文件存儲系統。
對于集中式文件存儲，難以支持單集群4PB的有效存儲容量需求，即使個別廠商的中高端NAS支持單集群4PB容量，其成本以及后續二期項目的擴展性都無法滿足要求。對于市場上主流的分布式文件系統產品，為了確保其讀寫訪問性能，大多只能采用副本方式進行數據可靠性保護，無法滿足視頻監控系統對存儲的磁盤利用率要求。此外，考察的分布式文件存儲對海量文件支持，以及大文件、小文件混合讀寫性能，都存在一定缺陷。
YRCloudFile視頻監控存儲方案
經過反復驗證和實際測試，焱融云給客戶提出的集中式雙控FC SAN存儲+YRCloudFile單副本高可用方案，最終獲得了客戶的認可，并于最近成功落地。
在該方案中，底層采用了兩套集中式雙控FC SAN存儲陣列，各提供2PB有效存儲空間，通過兩臺16Gb光纖交換機，連接至前端多臺標準x86服務器，將SAN陣列提供的LUN掛載至x86服務器中。焱融云在這些x86服務器上部署了YRCloudFile的元數據服務，利用SAN陣列掛載的LUN組成YRCloudFile高性能分布式文件集群。該方案具有如下特點：
1、YRCloudFile向上層各個業務系統提供標準的POSIX文件訪問接口，用戶采購的視頻監控及卡口監控系統無需進行適配和修改，均順利完成對接。
2、方案中的數據可靠性通過底層雙控FC SAN陣列得到有效保障，YRCloudFile對x86服務器中使用的LUN只需使用1副本。
3、為了避免1副本情況下，由于單臺x86服務器故障，導致業務無法訪問掛載在該服務器上的LUN的數據，焱融云將FC SAN的每個LUN都均勻掛載到一臺以上的x86服務器上，當任意一臺x86服務器出現故障，該服務器上正提供YRCloudFile數據訪問的LUN被YRCloudFile集群自動將其數據服務切換至另一臺x86服務器上，使用YRCloudFile存儲服務的應用程序完全無感知，全程無需人工干預。當故障服務器恢復時，原來運行在其上的數據服務，可以重新被均衡回原有服務器上。焱融云將這種技術稱為YRCloudFile單副本高可用的運行方式。整體架構圖如下所示：
4、通過YRCloudFile單副本高可用功能+雙控FC SAN陣列，使整體方案的磁盤利用率高達70%，可有效控制總體成本。
5、整個落地方案中，從YRCloudFile集群、兩臺FC光纖交換機、SAN陣列雙控制器、到SAN陣列內部磁盤組及熱備盤，都實現了高可用，達到了系統的整體高可用要求。
6、YRCloudFile通過10Gb以太網連接至業務系統，整個文件存儲集群提供超過6GB/s的整體帶寬。
7、在實際測試中，YRCloudFile單集群在12億文件規模下，文件創建、刪除性能無任何衰減(分別對應下圖中creation和removal文件操作)，同時對小文件的讀寫訪問(可對應下圖中的stat操作以及對LUN的IO操作)可提供持續穩定的高性能訪問，很好地滿足了支持海量文件，以及大文件和小文件混合讀寫的需求。
8、在方案中，YRCloudFile使用的是來自底層FC SAN陣列的存儲空間，因此，在二期進行擴容時，只需采購新的SAN存儲陣列，并相應增加上層YRCloudFile的x86服務器，即可完成容量擴容，同時維持單一的文件系統命名空間。
目前基于上述方案的分布式文件存儲系統已經成功地投入正式運行，從實際使用效果看，這套存儲系統給上層業務帶來的整體性能和可用性確實遠遠優于選型時考察的其它方案，用戶對此也充分認可。
通過該項目的成功落地，充分驗證了SAN陣列+YRCloudFile單副本高可用的技術，可以為平安城市、雪亮工程、智慧城市等項目提供高性能、支持海量文件、磁盤利用率高、高可靠、成本可控的存儲解決方案，我們也期待著焱融云的存儲技術能為更多的城市和市民服務。
特別提醒：本網內容轉載自其他媒體，目的在于傳遞更多信息，并不代表本網贊同其觀點。其原創性以及文中陳述文字和內容未經本站證實，對本文以及其中全部或者部分內容、文字的真實性、完整性、及時性本站不作任何保證或承諾，并請自行核實相關內容。本站不承擔此類作品侵權行為的直接責任及連帶責任。如若本網有任何內容侵犯您的權益，請及時聯系我們，本站將會在24小時內處理完畢。
