站長資訊網(wǎng)非結(jié)構(gòu)化數(shù)據(jù)正以前所未有的速度增長。IDC的預(yù)測表明，到2025年，全球?qū)⒂?0%的數(shù)據(jù)是非結(jié)構(gòu)化的。文件協(xié)議是存取非結(jié)構(gòu)化數(shù)據(jù)最普遍的使用方式，根據(jù)IDC統(tǒng)計(jì)，2019年度，中國的軟件定義存儲市場約60%是文件存儲。
盡管非結(jié)構(gòu)化數(shù)據(jù)并不是什么新鮮事，但I(xiàn)T團(tuán)隊(duì)承受著巨大壓力，他們希望以簡單和易于使用的方式快速、一致地存儲和管理非結(jié)構(gòu)化數(shù)據(jù)，但傳統(tǒng)文件系統(tǒng)有很多的限制：
1、元數(shù)據(jù)和數(shù)據(jù)使用本地存儲，無法橫向擴(kuò)展，不具備節(jié)點(diǎn)級高可用;
2、受限于元數(shù)據(jù)的存儲空間和性能，實(shí)際可保存的文件數(shù)有限，一般小于1億，存儲空間為TB級別;
3、非統(tǒng)一命名空間，多個(gè)掛載目錄之間無法互通，使用復(fù)雜;
4、文件存儲網(wǎng)關(guān)不可擴(kuò)展，無法提升帶寬，造成訪問瓶頸;
5、不支持大數(shù)據(jù)和容器等新業(yè)務(wù)。
01分布式文件架構(gòu)，如何和硬件與時(shí)俱進(jìn)？
數(shù)字化轉(zhuǎn)型下的軟件定義存儲架構(gòu)，可以很好的滿足用戶各種需求，如在標(biāo)準(zhǔn)服務(wù)器上的敏捷部署，可靈活擴(kuò)展，性能和容量隨服務(wù)器節(jié)點(diǎn)數(shù)增長而線性增長，硬件升級與更換無需跨存儲系統(tǒng)遷移數(shù)據(jù)，硬件升級換代紅利即時(shí)享用，業(yè)務(wù)層無感知、無影響等。
但是軟件定義，也需要充分利用最新的硬件技術(shù)，與時(shí)俱進(jìn)。
分布式文件存儲，最復(fù)雜的就是元數(shù)據(jù)的保存和處理。根據(jù)統(tǒng)計(jì)，大部分的AI/ML分析應(yīng)用，90%的I/O都是請求元數(shù)據(jù)操作。
上一代的分布式文件系統(tǒng)，由于當(dāng)時(shí)的硬件限制，為了解決元數(shù)據(jù)的容量瓶頸，部分產(chǎn)品(如CephFS)將元數(shù)據(jù)保存在后端的RADOS集群里，I/O路徑長，并且由于復(fù)雜的同步和互鎖機(jī)制，性能損耗較高，性價(jià)比并不理想;
部分產(chǎn)品(如HDFS)采用內(nèi)存來保存所有的元數(shù)據(jù)，雖然元數(shù)據(jù)性能較好，但由于內(nèi)存的容量有限，系統(tǒng)支持的文件數(shù)比較少，擴(kuò)展能力有限。
有沒有一種架構(gòu)，能夠以較低的成本，極簡的架構(gòu)，滿足現(xiàn)代文件系統(tǒng)元數(shù)據(jù)處理的性能和容量要求?
現(xiàn)在，大容量高速SSD的普及，使得魚和熊掌兼得變成現(xiàn)實(shí)。NVMe協(xié)議的出現(xiàn)，大大降低接口協(xié)議的開銷，SCM(存儲級內(nèi)存)的出現(xiàn)，大大提升介質(zhì)的性能，加上顆粒成本的下降，使得5TB以上的大容量NVMe SSD較為普遍。
這些SSD新技術(shù)的發(fā)展，加上CPU的核數(shù)越來越多，使得全閃存元數(shù)據(jù)節(jié)點(diǎn)完全可以應(yīng)對大規(guī)模文件系統(tǒng)的需求，比如，只需要5TB的NVMe SSD的元數(shù)據(jù)空間，就可以輕松保存和處理百億規(guī)模文件。
02XGFS重新定義下一代分布式文件系統(tǒng)
XGFS(XSKY Global File System)是XSKY提供的新一代分布式文件存儲系統(tǒng)，具有單一全局的命名空間。
XGFS基于靈活的SDS架構(gòu)，支持NFS、SMB、FTP、POSIX、HDFS、Kubernetes CSI(容器存儲接口)等豐富的協(xié)議，不僅可以用于企業(yè)的文件共享，備份歸檔通用場景，也可以應(yīng)用于視頻監(jiān)控、媒資管理、高性能計(jì)算等高性能、大帶寬、大容量的場景, 還支持最新的大數(shù)據(jù)和容器場景。
XGFS企業(yè)級分布式存儲系統(tǒng)架構(gòu)圖
XGFS創(chuàng)新利用最新的多核CPU、大容量和高性能NVMe SSD，只需要3個(gè)全閃存元數(shù)據(jù)高可用節(jié)點(diǎn)(可以共用數(shù)據(jù)節(jié)點(diǎn))，就可以高效保存和處理100億數(shù)量文件規(guī)模的數(shù)據(jù)，同時(shí)提供每秒上百萬元數(shù)據(jù)讀寫請求處理能力，具有極高的性價(jià)比。
而XGFS的數(shù)據(jù)節(jié)點(diǎn)，則充分利用XSKY久經(jīng)市場考驗(yàn)的可靠自主分布式存儲集群，成熟穩(wěn)定，可以輕松擴(kuò)展到上千個(gè)節(jié)點(diǎn)。
XGFS企業(yè)級分布式存儲系統(tǒng)用戶界面
XGFS元數(shù)據(jù)服務(wù)的架構(gòu)具有如下優(yōu)勢：
基于最新一代NVMe/SCM存儲介質(zhì)設(shè)計(jì)，充分發(fā)揮出新興介質(zhì)近百萬級IOPS和數(shù)GB帶寬的性能優(yōu)勢，輕松滿足對于文件系統(tǒng)的高頻率元數(shù)據(jù)訪問需求;
利用高性能LSM存儲引擎，結(jié)合XSKY獨(dú)有專利技術(shù)的鍵值設(shè)計(jì)，構(gòu)建出完全自主的元數(shù)據(jù)服務(wù);既兼容POSIX文件語義和S3對象語義，又支持用戶/用戶組、權(quán)限/ACL、擴(kuò)展屬性等;
元數(shù)據(jù)在本節(jié)點(diǎn)的日志保護(hù)和節(jié)點(diǎn)間的強(qiáng)一致性復(fù)制，使得元數(shù)據(jù)集群輕松應(yīng)對慢盤、網(wǎng)絡(luò)異常、節(jié)點(diǎn)重啟/掉電等故障場景，提供RPO=0的元數(shù)據(jù)通路;
使用XSKY自研的高速網(wǎng)絡(luò)傳輸模塊，原生為RoCE/RDMA高性能網(wǎng)絡(luò)量身打造，大大降低節(jié)點(diǎn)間元數(shù)據(jù)復(fù)制包的傳輸時(shí)延，使得整個(gè)元數(shù)據(jù)集群擁有更高的IOPS性能。
XGFS分布式文件存儲系統(tǒng)由元數(shù)據(jù)服務(wù)集群和混合盤數(shù)據(jù)服務(wù)共同組成，使得該產(chǎn)品繼承了XSKY多年在分布式混合盤上的深厚積累以及大規(guī)模存儲運(yùn)維能力：
多級緩存技術(shù)、支持副本與EC糾刪碼、支持延展集群雙活、硬盤和網(wǎng)絡(luò)亞健康處理等，成熟穩(wěn)定，特性豐富且運(yùn)維簡單。
03產(chǎn)品特點(diǎn)
1、全局命名空間
單一命名空間：提供統(tǒng)一持續(xù)高性能的文件單一全局命名空間，使用簡單;
豐富的協(xié)議支持：支持NFS, SMB, POSIX, FTP, HDFS，Kubernetes CSI等協(xié)議， 簡化業(yè)務(wù)IT架構(gòu)的同時(shí)解除對業(yè)務(wù)的鎖定;
新興業(yè)務(wù)場景支持：支持HPC、大數(shù)據(jù)和容器等新興負(fù)載。?
2、靈活擴(kuò)展
軟件定義，可自定義節(jié)點(diǎn)屬性，并支持各種品牌的通用x86服務(wù)器和國產(chǎn)服務(wù)器;
靈活部署，可從3個(gè)節(jié)點(diǎn)擴(kuò)展到4096個(gè)節(jié)點(diǎn)，滿足不同業(yè)務(wù)需求;
按需擴(kuò)展，性能和容量隨節(jié)點(diǎn)數(shù)增加而增長，滿足不斷增長的業(yè)務(wù)對性能和容量的需求。?
3、豐富的企業(yè)級功能
數(shù)據(jù)冗余：支持多副本和EC不同冗余策略，提供基于服務(wù)器、機(jī)架、數(shù)據(jù)中心的三個(gè)級別故障域管理。支持快照保護(hù);
支持文件網(wǎng)關(guān)負(fù)載均衡和HA保護(hù)，支持AD域、LDAP域?qū)樱镜卣J(rèn)證等多種認(rèn)證方式。支持配額管理;
通過內(nèi)嵌X3DS可以實(shí)現(xiàn)文件和對象間的復(fù)制、遷移、備份、歸檔等豐富的數(shù)據(jù)管理功能，并且支持阿里云和百度云等公有云平臺。
04典型應(yīng)用場景
XGFS可以作為企業(yè)級分布式文件系統(tǒng)，支持豐富的大容量非結(jié)構(gòu)化數(shù)據(jù)保存和分析場景：
1、文件共享、企業(yè)辦公存儲
單一全局命名空間，使用簡單。支持文件共享、網(wǎng)盤、FTP等辦公場景。
2、視頻監(jiān)控、流媒體、CDN存儲
橫向擴(kuò)展，滾動升級，數(shù)據(jù)永久保存。
3、大數(shù)據(jù)、HPC后端存儲
兼容HDFS, 高效文件元數(shù)據(jù)處理機(jī)制，靈活應(yīng)對AI/ML數(shù)據(jù)分析要求。
4、容器共享存儲
支持Kubernetes CSI接口，支持多個(gè)PODs共享數(shù)據(jù)。
5、集中災(zāi)備資源池
利用X3DS(XSKY立體數(shù)據(jù)管理系統(tǒng))和ODPF(開放數(shù)據(jù)保護(hù)框架)，可以作為大容量的共享災(zāi)備資源池。
6、企業(yè)數(shù)據(jù)湖底座
支持Hadoop存算分離部署，接口協(xié)議豐富，可以擴(kuò)展到上千節(jié)點(diǎn)。
XSKY XGFS充分利用SDS優(yōu)勢，適配最新的NVMe SSD新技術(shù)，支持最新的HDFS和Kubernetes CSI協(xié)議，性價(jià)比高，無需在性能和容量之間做出妥協(xié)，是企業(yè)的數(shù)據(jù)湖建設(shè)的理想底座。
特別提醒：本網(wǎng)內(nèi)容轉(zhuǎn)載自其他媒體，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點(diǎn)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí)，對本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時(shí)性本站不作任何保證或承諾，并請自行核實(shí)相關(guān)內(nèi)容。本站不承擔(dān)此類作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。如若本網(wǎng)有任何內(nèi)容侵犯您的權(quán)益，請及時(shí)聯(lián)系我們，本站將會在24小時(shí)內(nèi)處理完畢。
