百萬并發(fā)處理，智能過濾、存儲索引
時間：2022-03-29 12:21:01 | 來源：行業(yè)動態(tài)
時間：2022-03-29 12:21:01 來源：行業(yè)動態(tài)
inData一體機可以實現(xiàn)百萬級IOPS、海量吞吐與微妙延遲，提供PB級海量數(shù)據(jù)查詢秒級響應(yīng)能力。
在智能過濾方面，inData一體機在存儲節(jié)點上部署了K-DB數(shù)據(jù)庫實例，充分利用存儲服務(wù)器的CPU、內(nèi)存等計算資源，當計算節(jié)點收到來自應(yīng)用的SQL請求后，首先將SQL卸載到存儲節(jié)點做一遍行與列的篩選，然后將篩選后的更準確的數(shù)據(jù)塊，通過網(wǎng)絡(luò)傳輸?shù)接嬎愎?jié)點做進一步的精準計算。這一過濾過程既降低計算節(jié)點的運算負載，又數(shù)十倍的減小了計算與存儲之間網(wǎng)絡(luò)傳輸壓力。在諸如全表掃描等復(fù)雜請求場景時，使OLAP業(yè)務(wù)性能提升5-10倍。
同時，inData一體機可以實現(xiàn)存儲智能索引。這項技術(shù)可以減少不必要的磁盤I/O。在系統(tǒng)運行過程中，節(jié)點會實時地將列數(shù)據(jù)的概要信息更新存儲到存儲內(nèi)存中，比如各區(qū)數(shù)據(jù)的Min/Max值，這樣在數(shù)據(jù)查詢過程中就可以通過概要信息預(yù)先定位數(shù)據(jù)存儲區(qū)間，有效減少了磁盤的I/O次數(shù)。
inData一體機會自動統(tǒng)計數(shù)據(jù)的訪問頻次，將經(jīng)常被訪問的熱點數(shù)據(jù)，存儲在熱點盤PCIe NVMe SSD閃存卡中，不經(jīng)常訪問的數(shù)據(jù)則會存儲在大容量機械磁盤中，做到智能緩存，很好的兼顧性能與成本。
這些技術(shù)有效提高了inData一體機的負載處理能力，其中OLAP場景的負載處理能力可較傳統(tǒng)數(shù)據(jù)庫提高10倍。
在線咨詢