百度智能云副總經(jīng)理謝廣軍
時間:2022-04-25 02:06:01 | 來源:行業(yè)動態(tài)
時間:2022-04-25 02:06:01 來源:行業(yè)動態(tài)
這些海量數(shù)據(jù)的存儲對于百度智能云來講,最大問題是如何降低高昂的存儲成本。一方面互聯(lián)網(wǎng)公司數(shù)據(jù)量越來越大,數(shù)據(jù)保存成本負擔太重,需要大量擴展其搜索引擎和云存儲。另一方面數(shù)據(jù)的合規(guī)保存。國家對互聯(lián)網(wǎng)行業(yè)的管理要求越來越嚴格,多數(shù)數(shù)據(jù)必須有歸檔。同時,國家對互聯(lián)網(wǎng)日志類數(shù)據(jù)保存時長要求超過10年。
百度智能云對于海量數(shù)據(jù)需要按照讀寫頻率和冷熱數(shù)據(jù)等特性對于存儲進行不同層次的布局,我們希望提供透明化的生命周期的管理。從產生的初期的熱數(shù)據(jù)到系統(tǒng)感知到其訪問頻率降低,再到?jīng)]有太多的訪問,可以做到從高性能的存儲平臺到冷存儲平臺低成本存儲。同時,這些數(shù)據(jù)需要調用的時候,能比較快被調用出來。 謝廣軍講到。百度智能云需要一種既能降低成本,又能在其龐大的分布式文件系統(tǒng)中提供透明IO的解決方案。
百度智能云一方面基于新一代存儲介質打造高性價比存儲產品,一方面重視軟硬件結合的方案,搭建分布式存儲的系統(tǒng)。據(jù)了解,百度把高IO的數(shù)據(jù)讀取放在持久內存型的存儲系統(tǒng),打造基于NVMe RDMA技術,提供單盤百萬級IOPS及千MBps吞吐高性能SSD云磁盤。與此同時,百度基于IBM磁帶庫平臺,實現(xiàn)EB級磁帶規(guī)模應用,這也是國內第一家上線磁帶歸檔服務的云平臺。