時間：2022-12-22 06:30:01 | 來源：信息時代
時間：2022-12-22 06:30:01 來源：信息時代
負載均衡器 : 當數(shù)據(jù)流管理系統(tǒng)在過載情況下,系統(tǒng)中負責檢測、處理并保證系統(tǒng)性能達到可接受水平的管理模塊。負載均衡器一般通過分流負載或丟棄數(shù)據(jù)流元組以降低系統(tǒng)對內存等資源的需求。
與傳統(tǒng)數(shù)據(jù)應用不同,數(shù)據(jù)流管理系統(tǒng)需要處理大量連續(xù)、快速、隨時間變化的數(shù)據(jù),這些數(shù)據(jù)連續(xù)到達,頻繁變化,到達的速度也可能突然發(fā)生變化,數(shù)據(jù)的更新通常以插入為主,數(shù)據(jù)量事前是不確定的,也可能是無限的。當突發(fā)流量超過系統(tǒng)的處理能力時,如果不采取相應的措施,會導致整個系統(tǒng)的吞吐量和響應時間都惡化。同時,一些數(shù)據(jù)流應用的查詢處理具有硬實時性。例如,對于出現(xiàn)故障的設備,對戰(zhàn)場上身臨險境的士兵,處理時間要求非常高,不及時發(fā)現(xiàn)和處理險情,容易造成人身傷亡; 數(shù)據(jù)流管理系統(tǒng)需要處理的一些數(shù)據(jù)是非線性的,主要表現(xiàn)在數(shù)據(jù)量的突發(fā)性和流速的不穩(wěn)定性。發(fā)生緊急情況時(如設備發(fā)生故障、路面出現(xiàn)車禍、戰(zhàn)場出現(xiàn)敵情),大量的數(shù)據(jù)需要立即處理。
有效地降低內存資源的消耗而又盡可能減少服務質量的下降是數(shù)據(jù)流管理系統(tǒng)的一個努力目標。對于突發(fā)的、大容量的數(shù)據(jù)流負載,系統(tǒng)應能夠通過調整查詢處理策略,自適應地滿足它的實時處理要求。這包括: 實時服務質量模型的建立,查詢處理方法,查詢優(yōu)化方法,過載調整技術等的綜合運用。
采用負載均衡技術要有效降低系統(tǒng)負載,必須解決好以下三個問題:
(1)放置采樣器的位置: 采樣器如果放置在最前端,即輸入端查詢操作前面,可以最有效地降低負載。但是,數(shù)據(jù)丟棄操作放置如果太靠前,會影響較多的查詢,并給系統(tǒng)帶來很大的誤差。反之,放置位置越靠后,負載降低性能會比較差。
(2)啟動數(shù)據(jù)丟棄操作的時機: 不能每次運行某查詢操作時都要運行相應的采樣器,只有當節(jié)點負載超出一定水平時才啟動數(shù)據(jù)采樣操作進行降載處理。因此,必須有效判斷節(jié)點的負載情況,選擇適當時機啟動采樣操作。
(3) 丟掉數(shù)據(jù)流元組的數(shù)量: 顯然,丟掉盡量多的數(shù)據(jù)流元組能很快降低節(jié)點負載,但會增大誤差; 反之,如果丟掉數(shù)據(jù)流元組數(shù)量太少,雖然誤差較小,但不能有效降低節(jié)點負載。
為了解決數(shù)據(jù)流處理系統(tǒng)的過載問題,Aurora系統(tǒng)通過服務質量監(jiān)控器連續(xù)不斷地監(jiān)控系統(tǒng)的執(zhí)行性能,在監(jiān)測到過載狀態(tài)和系統(tǒng)性能低下時激活負載均衡器。負載均衡器將分流負載或丟棄部分數(shù)據(jù)流元組,保證系統(tǒng)性能達到可按受的水平。服務質量由應用管理員根據(jù)實際應用的要求來確定。負載脫落技術是負載均衡器實現(xiàn)其功能的一種常用技術。負載脫落是指通過丟棄一定數(shù)量的數(shù)據(jù)流元組,在部分犧牲準確性和完整性的條件下,保證系統(tǒng)的性能。負載脫落算法可以根據(jù)采用的處理方式分為以下兩種: 隨機的負載脫落算法和基于語義的負載脫落算法。隨機負載脫落是指在發(fā)現(xiàn)數(shù)據(jù)流元組輸入超過系統(tǒng)處理能力時,通過按一定的比重隨機丟棄部分數(shù)據(jù)流元組保證系統(tǒng)的正常運行?；谡Z義的負載脫落,通過用戶對數(shù)據(jù)流處理語義的理解,有選擇地丟棄一部分數(shù)據(jù)流元組,使數(shù)據(jù)流元組損失對系統(tǒng)性能和輸出結果的影響最小化。目前普遍采用的負載脫落算法一般是基于語義的。基于語義的負載脫落算法與系統(tǒng)的上下文有關,主要考慮的問題是何時、何地以及如何進行。D.Carney和U.Cetintemel等提出了通過丟棄數(shù)據(jù)流元組實現(xiàn)的隨機負載脫落和通過過濾數(shù)據(jù)流元組實現(xiàn)的語義負載脫落,過濾是有控制地丟棄一些不重要的數(shù)據(jù)流元組來保證系統(tǒng)的服務質量。B. Babcock和M. Datar等指出了D. Carney的不足——該基于語義的負載脫落并不能有效地保證查詢的精確性,從而提出改善精確性的方法,并通過配置隨機抽樣算法來具體實現(xiàn)基于語義的負載脫落。
在數(shù)據(jù)流管理系統(tǒng)中,絕大多數(shù)的查詢?yōu)檫B續(xù)查詢,數(shù)據(jù)流源源不斷到達,執(zhí)行環(huán)境不斷改變,數(shù)據(jù)流的流速等流的特性也是動態(tài)改變的。數(shù)據(jù)流具有突發(fā)性,要求數(shù)據(jù)流管理系統(tǒng)應當能夠自適應環(huán)境的變化,特別是猝然變化的數(shù)據(jù)流速和流量。研究自適應的數(shù)據(jù)流管理系統(tǒng)負載均衡算法是負載均衡器未來的研究方向之一。
在線咨詢
