站長資訊網
        最全最豐富的資訊網站

        不要Ceph,青云自己做了一套QingStor文件存儲系統

          來源:DOIT 作者:朱朋博

          常見的存儲有三種類型,SAN塊存儲,對象存儲還有NAS文件存儲,分別對應熱數據,冷數據和溫數據,一套完整的企業存儲體系中三者缺一不可,2018年7月27日的青云Cloud Insight 2018云計算峰會上,青云發布了QingStor文件系統,補充和完善了QingStor存儲產品線。

        不要Ceph,青云自己做了一套QingStor文件存儲系統

          青云既是云服務廠商,也是企業級ICT服務商,QingStor存儲產品線的布局很好地反應了青云的這種特殊性。

          QingStor的發展歷程中,先是有了話題熱度最高的對象存儲,互聯網公司用的比較多,單位容量價格低,性能較低,安全性高。而后在2017年發布了熱度僅次于對象存儲的ServerSAN存儲——NeonSAN,強調高性能和低延時,支持真正的水平擴展,主要用于核心業務。SAN和NAS則非常企業級,企業級存儲公司主要做的就是這兩大塊,今天終于輪到了NAS文件存儲。

        不要Ceph,青云自己做了一套QingStor文件存儲系統

          用過電腦的人都知道什么是文件存儲,簡單而言,你打開電腦其實用到了文件系統,在硬盤上找文件就是在用文件系統了,只是因為硬盤大小非常,一般人一塊硬盤也就夠了,可企業里數據非常多,別說單臺電腦了,單臺服務器也經常不夠用,所以當數據非常多的時候就需要額外的存儲空間了,常見的做法是用網絡連接一臺專門做存儲的機器,常用的設備就是NAS(Network Attached Storage網絡附加存儲),NAS在一定程度上是文件存儲的代名詞。

          很多人都有體會,因為文件多了文件查找的效率就會明顯下降,打開電腦找個文件硬盤咯吱咯吱響,文件找的很慢,NAS一般來說性能都比較高,另外,文件不能丟失或者損壞,所以還要有各種數據保護措施,傳統大型存儲公司如NetApp,EMC都有出色的NAS產品,NAS是很貴的,主要是基于硬件的,做個NAS門檻是很高的,很多企業就靠一款成功的NAS產品便在市場上占據了很高的地位,這是一塊大市場。

          由于大家都或多或少地知道文件存儲的應用場景,所以說明文件存儲很普遍,需求非常大,Gartner的分析報告說,文件存儲在市場中占主流地位,在媒體、高性能計算領域都會用到。

          NAS通常來說是Scaleup類型的,也就是主要靠單臺專有設備的實力,性能很高但也有限,擴展很難,產品設計的中心完全以硬件為核心。后來出現帶來分布式的文件系統,文件存儲的核心轉向以分布式存儲軟件為核心,常見的分布式文件系統有兩種:一種是以Hadoop HDFS和LusterFS為代表的集中式索引架構;一種是全對等Hash架構,完全拋棄單獨的索引節點,其代表是GLuster和Ceph。

          青云QingCloud存儲高級技術專家寧安表示,集中式的索引架構問題在于擴展擴容不方便,一致性較差,全隊等的Hash架構缺點在于文件數量會受到單節點和索引節點容量限制。雖然有種種問題,但是因為分布式文件系統通常是開源的,跟原來的封閉的集中式NAS截然不同,而且硬件是基于x86的成本會低出很多,所以,分布式存儲越來越流行,近年來,隨著開源社區在中國的發展,在分布式文件存儲系統中Ceph的呼聲最高。

        不要Ceph,青云自己做了一套QingStor文件存儲系統

          這些缺點有四個方面:數據一致性問題,高可用問題,還有擴展性的問題,運維也比較復雜。另外,Ceph的性能問題也廣受詬病,在種種問題面前,青云最后還是決定自己做研發,參考一些開源的分布式文件系統的做法自己研發出了一套分布式文件系統,分布式文件存儲系統非常復雜。

        不要Ceph,青云自己做了一套QingStor文件存儲系統

          為了應對這些問題,QingStor文件存儲有以下幾個特點呢?

          首先,QingStor的底層基于分布式塊存儲NeonSAN,NeonSAN是有高性能、強一致的塊存儲。這使得QingStor的塊存儲和文件存儲能做到更好的融合,兩者共享一個存儲池,可以分開管理,底層共用一套設備,如果追求性能和可靠性的話最好還是單獨部署,NeonSAN的用戶可以直接部署新的文件存儲。

          第二,支持無限水平擴展。目錄和文件分離存儲,元數據層存儲索引目錄,用來定位文件具體位置;控制層負責下層塊設備的空間分配和事務管理。寧安介紹說,用Ceph的企業需要一批很懂Ceph的工程師,Ceph在一定數據規模之后會出現許多問題,經常要處理很多壞盤、遷移和擴容的問題,這些問題只有在數據規模很大時才會暴露出來,但這時候已經晚了。

          第三,并行處理架構。所有網關節點和NeonSAN節點是全互聯的關系,節點間可通過最短路徑相互訪問。集群內數據復制與業務訪問分離,分別通過不同的網絡,因此在數據遷移和擴容時,不會對業務有任何影響。

          QingStor分布式文件存儲的企業級特性非常全面。

          其中,通過釣電安全、防篡改、數據加密等手段來提升數據安全性;通過分布式事務加上版本修改的機制實現了強一致性;通過服務無單點、數據無單點、網絡無單點,三點來支持高可用;通過NeonSAN的支持來實現高性能。

        不要Ceph,青云自己做了一套QingStor文件存儲系統

          與Ceph的性能對比

          在彈性擴展方面,QingStor文件存儲擴容更隨意,不用像Ceph一樣每次只能擴容一個節點,擴容跟數據遷移量成正比,擴容的過程中,QingStor文件存儲沒有強制用戶遷移數據,擴容過程中對寫入沒有影響,用戶可選擇在任意時間進行數據遷移,用戶可以操控數據遷移的過程。

          在成本方面,通過智能的壓縮,自動精簡配置,存儲分層等手段來提升存儲空間利用率,從而優化成本。QingStor文件存儲支持對文件類型判斷后做壓縮,如果是文本文件的話就重點壓縮,反正也不影響解壓后正常使用,如果是音視頻文件的話壓縮會有損失,寫入的時候就不壓縮了。

          部署方面,QingStor最小三節點起步,用戶可利用現有的交換機去部署TCP/IP網絡,內部數據通過RDMA來實現低延遲的數據服務操作。

          在實際使用的時候,QingStor支持NFS、Samba協議和FUSE模塊加載方式,因為文件存儲本來就是服務于常見的應用的,所以與原來的應用沒有兼容性問題,像是OA這種傳統應用完全沒問題,Hadoop、Spark等大數據分析也都沒問題,視頻剪輯,3D渲染,高性能計算等場景下都可以用。另外,青云最新推出的Anybox也是支持將QingStor文件存儲用作存儲后端,性能會更好一些。

        特別提醒:本網內容轉載自其他媒體,目的在于傳遞更多信息,并不代表本網贊同其觀點。其原創性以及文中陳述文字和內容未經本站證實,對本文以及其中全部或者部分內容、文字的真實性、完整性、及時性本站不作任何保證或承諾,并請自行核實相關內容。本站不承擔此類作品侵權行為的直接責任及連帶責任。如若本網有任何內容侵犯您的權益,請及時聯系我們,本站將會在24小時內處理完畢。

        贊(0)
        分享到: 更多 (0)
        網站地圖   滬ICP備18035694號-2    滬公網安備31011702889846號
        主站蜘蛛池模板: 久久久久99精品成人片直播| 久久国产精品99久久久久久老狼| 精品久久久无码人妻中文字幕豆芽| 国产69精品久久久久9999| 欧美精品久久久久久久自慰| 精品国产黑色丝袜高跟鞋| 精品人人妻人人澡人人爽人人| 四虎国产精品成人免费久久| 国产精品美女久久久久AV福利| 国产成人精品久久一区二区三区| 中文字幕久久精品| 久久精品成人一区二区三区| 亚洲国产精品一区| 大伊香蕉精品一区视频在线| 中文无码久久精品| 四虎亚洲国产成人久久精品| 国产精品超碰12396| 午夜精品久视频在线观看| 国产AV国片精品| 国内精品久久久久伊人av| 少妇人妻偷人精品免费视频| 蜜臀av无码人妻精品| 国产亚州精品女人久久久久久| 久久国产精品99精品国产987| 国产精品99精品无码视亚| 久久发布国产伦子伦精品| 欧洲精品99毛片免费高清观看| 亚洲精品视频免费观看| 久久国产精品免费| 精品国产91久久久久久久a | 国产精品1区2区| 国产精品ⅴ无码大片在线看| 国产精品无码成人午夜电影| 精品人妻系列无码天堂| 精品欧洲AV无码一区二区男男| 精品综合久久久久久888蜜芽| 欧美精品亚洲精品日韩传电影| 嫖妓丰满肥熟妇在线精品| 国产精品亚洲A∨天堂不卡| 国产精品国产三级国产普通话| jizzjizz国产精品久久|