浪潮分布式存儲平臺服務(wù)石油勘探，縮短數據處理周期
當前石油儲備逐步減少，石油勘探、開(kāi)發(fā)難度增大，借助數據技術(shù)提高石油勘探的效率成為推動(dòng)石油行業(yè)增長(cháng)的關(guān)鍵。存儲作為數據的載體，成為石油勘探企業(yè)轉型增效的核心競爭力。
其實(shí)數據極致性能需求已成為業(yè)界的普遍需求，根據IDC與浪潮聯(lián)合發(fā)布的《2019年數據及存儲發(fā)展研究報告》，隨著(zhù)新技術(shù)發(fā)展企業(yè)對數據實(shí)時(shí)性需求日益增加，到2023年實(shí)時(shí)數據將占全球數據圈24.5%的份額。
出廠(chǎng)前的操練
石油勘探耗資巨大，勘探數據十分寶貴，用戶(hù)把這么重要的勘探數據托付給浪潮存儲，浪潮存儲團隊自然要全力以赴。石油勘探普遍采用地震波法，原始數據量可達數PB，后期做地震資料疊前偏移成像，會(huì )對存儲并發(fā)性能提出較高要求。根據勘探場(chǎng)景的數據特點(diǎn)，浪潮提供了容量、性能線(xiàn)性擴展的分布式存儲平臺。
在分布式存儲出廠(chǎng)前，為了確保浪潮分布式存儲平臺AS13000在地震資料處理作業(yè)環(huán)境中的功能及性能，浪潮存儲決定在實(shí)驗室里把整體環(huán)境搭起來(lái)，進(jìn)行出廠(chǎng)前的“操練”。
濟南的測試實(shí)驗室里燈火通明，浪潮工程師團隊用16個(gè)分布式存儲節點(diǎn)，1:1實(shí)際搭建了一套測試系統。系統裸容量4.2PB，可用容量為3.969PB，可用容量比為73.6%。經(jīng)存儲集群測試驗證，達到了進(jìn)行某石油勘探公司的項目環(huán)境要求。
浪潮分布式存儲
13 次調優(yōu)性能比業(yè)界平均水平“拔高”30%
接下來(lái)是最為關(guān)鍵的性能調優(yōu)環(huán)節。首先，浪潮存儲工程師團隊在壓力機上部署了IOZONE測試工具。這是一款用來(lái)測試操作系統上文件系統性能的工具，范圍包括Write、Re-Write、Read、Re-Read、Random Read、Random Write等十余種測試內容，可以說(shuō)是360度無(wú)死角的性能測試。其次，設置測試工具模型為16MB塊大小順序讀寫(xiě)，測試數據量為內存大小的2倍以上——2倍是比較合適的設置，不然Linux會(huì )給讀寫(xiě)內容進(jìn)行緩存，讓測試結果不真實(shí)。就這樣，浪潮分布式存儲團隊，在壓力機上基于IOZONE測試工具一遍遍運行、調優(yōu)。
一次次功能調優(yōu)，一個(gè)個(gè)參數試驗，不夠好，再重來(lái)。一天深夜，加班回來(lái)剛剛躺下的浪潮存儲測試工程師腦子里又開(kāi)始過(guò)篩子：白天測試結果雖然達到了客戶(hù)招標要求，但能否還有提升空間呢?突然一個(gè)靈感閃過(guò)——是不是能換個(gè)功能的參數組合試試?他一骨碌從床上爬起來(lái)，迅速把想到的實(shí)驗參數記錄下來(lái)，次日便帶領(lǐng)項目組進(jìn)行組合調優(yōu)，終于讓性能上了個(gè)臺階——讀性能從25GB/s~27GB/s區間段，提升到最高28.06GB/s。
經(jīng)過(guò)長(cháng)達半個(gè)月的13次系統級測試，浪潮16個(gè)節點(diǎn)的分布式存儲平臺平均寫(xiě)性能達到27.4GB/s，平均讀性能達到30.55GB/s，容量和性能超出了招標項目需求。最終，某石油勘探公司的工作組在浪潮濟南實(shí)驗室看到了測試數據的Demo演示，對測試情況非常滿(mǎn)意。“浪潮存儲的實(shí)力和幾年前相比有了很大提升，這次我們的招標方案，性能要求已經(jīng)比較高了，沒(méi)想到浪潮存儲還能表現得更好”。
測試數據
浪潮存儲研發(fā)工程師表示：“同等配置水平下，目前分布式存儲業(yè)內平均水平為單節點(diǎn)寫(xiě)1.3GB/s、讀1.5GB/s，這樣一來(lái)16個(gè)節點(diǎn)的平均寫(xiě)性能是20.8GB/s、讀性能24GB/s。對比來(lái)看，浪潮分布式存儲在石油勘探項目中的性能表現，比業(yè)界平均水平高出了20%~30%。”更高的性能意味著(zhù)，浪潮分布式存儲平臺可以幫助石油勘探項目縮短勘探開(kāi)發(fā)周期、提高勘探開(kāi)發(fā)成功率。
浪潮分布式存儲的測試性能：寫(xiě)性能比業(yè)界平均水平高32%，讀性能高27%
極速性能的背后是基于場(chǎng)景的技術(shù)創(chuàng )新
同等的硬件配置，浪潮分布式存儲為何能實(shí)現更好的性能?答案在場(chǎng)景化定制上。浪潮存儲通過(guò)內核客戶(hù)端優(yōu)化、對象聚合、高速緩存、讀寫(xiě)鎖優(yōu)化等技術(shù)創(chuàng )新，結合石油勘探不同業(yè)務(wù)階段的IO負載需求進(jìn)行深度優(yōu)化。
在數據存儲階段，石油勘探需要將采集到的原始地震波數據統統寫(xiě)入分布式存儲平臺，存儲需要提供高聚合帶寬和PB級容量，滿(mǎn)足海量數據的并發(fā)寫(xiě)入、存儲需求。
在數據解釋階段，存儲需要提供高帶寬，能夠一次性“讀出”單個(gè)文件大小超300GB的超大文件。此時(shí)的存儲需求是高帶寬，超寬通路過(guò)得了萬(wàn)噸輪船。
而在數據處理、分析階段，石油勘探模型處理、分析產(chǎn)生了海量的次生小文件，存儲需要通過(guò)小文件/對象聚合技術(shù)，提升海量次生小文件的并發(fā)性能。這就如同水庫，先匯聚資源，達到一定蓄水量后再向下游統一輸出，存儲要把億級/千萬(wàn)級小文件的隨機寫(xiě)變?yōu)楣潭ù笮〉臄祿捻樞驅?xiě)，提高效率。
浪潮能源行業(yè)部存儲產(chǎn)品經(jīng)理表示，“通過(guò)在石油勘探中的部署和應用，說(shuō)明浪潮存儲不僅產(chǎn)品過(guò)硬能夠承載能源行業(yè)的領(lǐng)先應用，還有專(zhuān)業(yè)的測試、研發(fā)、服務(wù)團隊，有能力在全球提供很好的支持”。
IDC 與浪潮聯(lián)合：新數據時(shí)代元年，分布式存儲成為趨勢
根據近日IDC與浪潮聯(lián)合發(fā)布的《2019年數據及存儲發(fā)展研究報告》，2019年中國邁入新數據時(shí)代元年。報告顯示，在2019年中國數字化轉型IT支出首次超過(guò)非數字化轉型IT支出，占比達到51%。隨著(zhù)數字化轉型的不斷加速，行業(yè)新應用爆發(fā)式增長(cháng)，從數千、數萬(wàn)躍升到百萬(wàn)量級，數據呈現出海量、多元、實(shí)時(shí)、多云等趨勢。數據存儲成為承載交通、金融、能源、通信等行業(yè)轉型的基礎平臺，分布式存儲成為趨勢，2023年其占比將達到40%，閃存陣列將迎來(lái)高速發(fā)展。
