大數(shù)據(jù)相關問題

時間：2022-02-20 23:06:01 | 來源：信息時代

時間：2022-02-20 23:06:01 來源：信息時代

對于大數(shù)據(jù)的存儲問題，以下問題不可忽視：

容量問題

這里所說的'大容量'通?？蛇_到PB級的數(shù)據(jù)規(guī)模，因此，海量數(shù)據(jù)存儲系統(tǒng)也一定要有相應等級的擴展能力。與此同時，存儲系統(tǒng)的擴展一定要簡便，可以通過增加模塊或磁盤柜來增加容量，甚至不需要停機。在解決容量問題上，不得不提LSI公司的全新Nytro?智能化閃存解決方案，采用Nytro產(chǎn)品，客戶可以將數(shù)據(jù)庫事務處理性能提高30倍，并且超過每秒4.0GB1的持續(xù)吞吐能力，非常適用于大數(shù)據(jù)分析。

延遲問題

'大數(shù)據(jù)'應用還存在實時性的問題。特別是涉及到與網(wǎng)上交易或者金融類相關的應用。有很多'大數(shù)據(jù)'應用環(huán)境需要較高的IOPS性能，比如HPC高性能計算。此外，服務器虛擬化的普及也導致了對高IOPS的需求，正如它改變了傳統(tǒng)IT環(huán)境一樣。為了迎接這些挑戰(zhàn)，各種模式的固態(tài)存儲設備應運而生，小到簡單的在服務器內(nèi)部做高速緩存，大到全固態(tài)介質(zhì)可擴展存儲系統(tǒng)通過高性能閃存存儲，自動、智能地對熱點數(shù)據(jù)進行讀/寫高速緩存的LSINytro系列產(chǎn)品等等都在蓬勃發(fā)展。

安全問題

某些特殊行業(yè)的應用，比如金融數(shù)據(jù)、醫(yī)療信息以及政府情報等都有自己的安全標準和保密性需求。雖然對于IT管理者來說這些并沒有什么不同，而且都是必須遵從的，但是，大數(shù)據(jù)分析往往需要多類數(shù)據(jù)相互參考，而在過去并不會有這種數(shù)據(jù)混合訪問的情況，大數(shù)據(jù)應用催生出一些新的、需要考慮的安全性問題，這就充分體現(xiàn)出利用基于DuraClAss?技術的LSISandForce?閃存處理器的優(yōu)勢了，實現(xiàn)了企業(yè)級閃存性能和可靠性，實現(xiàn)簡單、透明的應用加速，既安全又方便。

成本問題

對于那些正在使用大數(shù)據(jù)環(huán)境的企業(yè)來說，成本控制是關鍵的問題。想控制成本，就意味著我們要讓每一臺設備都實現(xiàn)更高的'效率'，同時還要減少那些昂貴的部件。重復數(shù)據(jù)刪除等技術已經(jīng)進入到主存儲市場，而且還可以處理更多的數(shù)據(jù)類型，這都可以為大數(shù)據(jù)存儲應用帶來更多的價值，提升存儲效率。在數(shù)據(jù)量不斷增長的環(huán)境中，通過減少后端存儲的消耗，哪怕只是降低幾個百分點，這種錙銖必較的服務器也只有LSI推出的Syncro?MX-B機架服務器啟動盤設備都能夠獲得明顯的投資回報，當今，數(shù)據(jù)中心使用的傳統(tǒng)引導驅(qū)動器不僅故障率高，而且具有較高的維修和更換成本。如果用它替換數(shù)據(jù)中心的獨立服務器引導驅(qū)動器，則能將可靠性提升多達100倍。并且對主機系統(tǒng)是透明的，能為每一個附加服務器提供唯一的引導鏡像，可簡化系統(tǒng)管理，提升可靠性，并且節(jié)電率高達60%，真正做到了節(jié)省成本的問題。

數(shù)據(jù)的積累

許多大數(shù)據(jù)應用都會涉及到法規(guī)遵從問題，這些法規(guī)通常要求數(shù)據(jù)要保存幾年或者幾十年。比如醫(yī)療信息通常是為了保證患者的生命安全，而財務信息通常要保存7年。而有些使用大數(shù)據(jù)存儲的用戶卻希望數(shù)據(jù)能夠保存更長的時間，因為任何數(shù)據(jù)都是歷史記錄的一部分，而且數(shù)據(jù)的分析大都是基于時間段進行的。要實現(xiàn)長期的數(shù)據(jù)保存，就要求存儲廠商開發(fā)出能夠持續(xù)進行數(shù)據(jù)一致性檢測的功能以及其他保證長期高可用的特性。同時還要實現(xiàn)數(shù)據(jù)直接在原位更新的功能需求。

靈活性

大數(shù)據(jù)存儲系統(tǒng)的基礎設施規(guī)模通常都很大，因此必須經(jīng)過仔細設計，才能保證存儲系統(tǒng)的靈活性，使其能夠隨著應用分析軟件一起擴容及擴展。在大數(shù)據(jù)存儲環(huán)境中，已經(jīng)沒有必要再做數(shù)據(jù)遷移了，因為數(shù)據(jù)會同時保存在多個部署站點。一個大型的數(shù)據(jù)存儲基礎設施一旦開始投入使用，就很難再調(diào)整了，因此它必須能夠適應各種不同的應用類型和數(shù)據(jù)場景。

應用感知

最早一批使用大數(shù)據(jù)的用戶已經(jīng)開發(fā)出了一些針對應用的定制的基礎設施，比如針對政府項目開發(fā)的系統(tǒng)，還有大型互聯(lián)網(wǎng)服務商創(chuàng)造的專用服務器等。在主流存儲系統(tǒng)領域，應用感知技術的使用越來越普遍，它也是改善系統(tǒng)效率和性能的重要手段，所以，應用感知技術也應該用在大數(shù)據(jù)存儲環(huán)境里。

針對小用戶

依賴大數(shù)據(jù)的不僅僅是那些特殊的大型用戶群體，作為一種商業(yè)需求，小型企業(yè)未來也一定會應用到大數(shù)據(jù)。我們看到，有些存儲廠商已經(jīng)在開發(fā)一些小型的'大數(shù)據(jù)'存儲系統(tǒng)，主要吸引那些對成本比較敏感的用戶。