Tacranch技術升級改進了寶貴的數(shù)據(jù)存儲

高級計算的用戶可能與此有關。數(shù)據(jù)的指數(shù)級增長給it部門可靠地存儲數(shù)據(jù)帶來了嚴峻的挑戰(zhàn) 。12年多來，德克薩斯高級計算中心(TACC)的Ranch系統(tǒng)為從天體物理學到氣候科學到粒子物理學的研究數(shù)據(jù)提供了長期存檔。硬件和軟件的全新升級為Tacranch長期海量數(shù)據(jù)存儲系統(tǒng)的52000多名用戶帶來了福音。
【Tacranch技術升級改進了寶貴的數(shù)據(jù)存儲】

這些檔案對于希望利用這些數(shù)據(jù)幫助重現(xiàn)測量結果和以往研究結果的科學家來說非常有用。計算再現(xiàn)性是更大的科學再現(xiàn)性概念的一部分，它構成了科學方法的基石。
TACC致力于全力支持科學家的數(shù)據(jù)需求。Stampede2和Lonestar等本地計算系統(tǒng)提供專用于臨時存儲數(shù)據(jù)的暫存空間。下一個階梯是堆料場和畜欄的正向數(shù)據(jù)采集系統(tǒng)，可以通過高速網(wǎng)絡連接或iRODS數(shù)據(jù)網(wǎng)格直接訪問50 PB的組合存儲。另一方面，Ranch允許將數(shù)據(jù)長期存檔數(shù)月。
截至2019年4月，Ranch已經(jīng)存儲了超過70PB，即7000萬千兆字節(jié)的科學數(shù)據(jù) 。超過52，000名用戶在正在升級的舊牧場圖書館上傳了近17億份計算機文件。假設Ranch的新升級可以將其存儲空間擴展到不可思議的exabyte，即1,000 PB 。
“對于用戶來說，更多的數(shù)據(jù)將更容易獲得，其磁盤緩存是以前Ranch系統(tǒng)的15倍，”TACC高級計算系統(tǒng)主管TommyMinyard說。TACC超級計算機(如Stampede2、Lonestar或Maverick)產(chǎn)生的新數(shù)據(jù)首先在Ranch的旋轉磁盤和閃存驅動器上進行，然后轉移到磁帶上。
Ranch已經(jīng)升級到DataDirectNetworks提供的塊存儲系統(tǒng)，DDNSFA14KDCR ，提供30 PB旋轉磁盤緩存，硬件上只需要更換兩個。“這意味著我們將能夠在磁盤上保存更多的數(shù)據(jù)，以便更快地檢索，而且你不必從磁帶上調用它，”Minyard補充說。
Ranch的另一個受歡迎的變化來自Quantum公司，該公司提供Scalari6000磁帶庫和QuantumStorNext歸檔文件系統(tǒng)，可以協(xié)調磁盤和磁帶存儲。“我們選擇Quantum系統(tǒng)是基于它的功能和靈活性，”高級系統(tǒng)管理員兼TACC高級計算系統(tǒng)集團大系統(tǒng)經(jīng)理JunseongHeo說。
“具體來說，昆頓提供了配額控制機制，使TACC能夠為用戶提供基于分配的項目領域，”Heo補充說。這意味著用戶可以更容易地訪問數(shù)據(jù)和監(jiān)督資源的使用。“基于項目的配額曾經(jīng)是用戶的愿望清單， ”Heo說。
“TACC專注于持續(xù)創(chuàng)新，并創(chuàng)造了一個給存儲帶來巨大壓力的環(huán)境，而昆騰長期以來一直處于管理解決方案的前沿，這些解決方案滿足可靠性、可訪問性和大規(guī)模可擴展性的最極端要求， ”產(chǎn)品高級總監(jiān)EricBassier說。營銷，量子。將標量磁帶與StorNext數(shù)據(jù)管理功能相結合，創(chuàng)建了HSM(分層存儲管理)解決方案，可在TACC環(huán)境的惡劣條件下使用
“新系統(tǒng)為我們提供了一些額外的功能，使我們能夠比舊系統(tǒng)更好地處理項目數(shù)據(jù)和存儲層，”Minyard補充說。這對于大量牧場用戶來說尤其是個好消息，他們的分布可能會經(jīng)常變化。當前歸檔系統(tǒng)中最大的100個用戶加起來超過20 PB 。
用戶會注意到的一個主要變化是采用了社區(qū)企業(yè)操作系統(tǒng)(CentOS)環(huán)境，它取代了以前的Solaris環(huán)境。當用戶瀏覽CentOS將他們的文件遷移到新的Ranch圖書館時， TACC將在12個月內提供對舊圖書館數(shù)據(jù)的只讀訪問，直到2020年3月31日。用戶應該使用適當?shù)臄?shù)據(jù)大小來檢查和遷移數(shù)據(jù) 。磁帶存檔，單個文件大小優(yōu)于100千兆字節(jié) 。
“存檔數(shù)據(jù)并不吸引人，但卻是必要的，”明亞德說。“我不知道有多少次人們因為意外刪除文件而恐慌，而TACC卻能夠從牧場召回文件。從他們的角度來看，牧場是救命稻草， ”明亞德說。

欧美国产高清污视频在线观看-欧美久久综合九色综合-国产黄色自拍网站在线-国产三级精品三级在专区精-97中文字幕一区二区-大吊操白虎学生妹逼-精品久久久久亚洲综合网-青青草原国产av一区欧美-国产在线一区二区三区在线

Tacranch技術升級改進了寶貴的數(shù)據(jù)存儲

猜你喜歡