LSF橫空出世并一往直前
時(shí)間：2022-03-05 12:50:01 | 來源：行業(yè)動(dòng)態(tài)
時(shí)間：2022-03-05 12:50:01 來源：行業(yè)動(dòng)態(tài)
站在今天看過去，分布式高性能計(jì)算一直是IT行業(yè)的熱門話題。就是算力強(qiáng)悍的今天，大型機(jī)(比如IBM Z系列)已經(jīng)承載了一些核心的業(yè)務(wù)，但一些其他的應(yīng)用和作業(yè)，無(wú)福享受到強(qiáng)悍的大型機(jī)的伺候，更何況把目光往前推20多年，單個(gè)主機(jī)很難滿足應(yīng)用作業(yè)的需求，那怎么辦呢？最直接的方式就是把一群機(jī)器組織起來，并行干活。如果有一把絕世寶劍，來統(tǒng)一號(hào)令集群協(xié)同工作，只要調(diào)度得當(dāng)，完全有可能實(shí)現(xiàn)機(jī)心齊，泰山移。
在這種背景下，LSF于1992年橫空出世。到今天，LSF已經(jīng)走過了29個(gè)年頭。在這29年的發(fā)展中，新的技術(shù)層出不窮，用戶的需求也在不斷變化，經(jīng)過LSF研發(fā)團(tuán)隊(duì)的精益求精和不懈努力，LSF已經(jīng)發(fā)展成為HPC分布式集群的瑞士軍刀，擁有高性能的大規(guī)模分布式集群管理和調(diào)度能力。近日在中國(guó)，LSF被IBM中國(guó)團(tuán)隊(duì)創(chuàng)業(yè)成長(zhǎng)計(jì)劃12星座冠以白羊座黑科技產(chǎn)品，算是名至所歸。29歲，LSF正當(dāng)壯年！
那么LSF到底是什么呢？ LSF是一個(gè)強(qiáng)大的分布式工作負(fù)載管理平臺(tái)，基于智能的、策略驅(qū)動(dòng)的調(diào)度特性，充分利用計(jì)算基礎(chǔ)設(shè)施資源，實(shí)現(xiàn)最佳的應(yīng)用程序性能。一言以蔽之，LSF在正確的時(shí)間內(nèi)，將正確的資源分配給正確的用戶作業(yè)。LSF旨在降低企業(yè)運(yùn)營(yíng)成本的同時(shí)，提高生產(chǎn)效率。LSF構(gòu)架圖如下。
經(jīng)過二十多年的發(fā)展，相對(duì)于最初的LSF 1.0版本，最新的LSF 10.1，不管是功能上，還是性能上，都得到了質(zhì)的飛躍。LSF從最初簡(jiǎn)單的調(diào)度器，發(fā)展到今天豐富多彩的調(diào)度航母，不僅后向兼容，而且不斷創(chuàng)新，支持層出不群的新技術(shù)和新平臺(tái)，比如支持GPU和Kubernetes等，也支持機(jī)器學(xué)習(xí)的平臺(tái)和作業(yè)，AI賦能，發(fā)展出了很多周邊產(chǎn)品，一往無(wú)前的創(chuàng)新和完善的功能，讓29歲的LSF成為了妥妥的黑科技。
在分布式管理和調(diào)度方面，LSF的功能可謂應(yīng)有盡有，僅僅調(diào)度策略，就有數(shù)十種，比如先來先服務(wù) (FCFS)、搶占 (Preemption)、資源需求 (Resource Requirement)、公開共享 (Fair share Scheduling)、服務(wù)水平的資源保障(Guarantee SLA)、資源預(yù)訂 (Resource Reservations)、回填調(diào)度 (Backfill Scheduling)、親和調(diào)度 (Affinity Scheduling)等。
LSF不光支持CPU等常見算力，而且也支持GPU調(diào)度。同時(shí)支持多集群調(diào)度，塊調(diào)度、作業(yè)動(dòng)態(tài)調(diào)度、許可證（License）調(diào)度，基于事件的調(diào)度、計(jì)算單元和作業(yè)包裝、作業(yè)開始時(shí)間預(yù)測(cè)等功能。
LSF也支持容器化的應(yīng)用的調(diào)度，LSF可作為Kubernetes集群的熱插拔調(diào)度器，根據(jù)策略將Pod綁定到特定節(jié)點(diǎn)，由Kubelet在目標(biāo)節(jié)點(diǎn)上執(zhí)行和管理Pod生命周期，HPC作業(yè)可以在不影響Kubernetes Pods的情況下提交和執(zhí)行。
同時(shí)，LSF支持混合云策略，LSF有一個(gè)非常受歡迎的功能：Resource Connector。如果在作業(yè)激增的情況下，等待作業(yè)較多，本地資源不足的情況下，Resource Connector可以迅速的向公有云或者私有云申請(qǐng)資源，然后基于智能化的策略，把作業(yè)調(diào)度到云端資源上執(zhí)行。如果業(yè)務(wù)量下降了，根據(jù)預(yù)設(shè)的門限，即刻釋放云端資源。這種可伸縮性，有效的提高計(jì)算效率的同時(shí)，為客戶節(jié)省了費(fèi)用，真是魚和熊掌二者兼得也！
在HPC集群中，性能非常重要，在LSF 10版本中，實(shí)現(xiàn)了無(wú)與倫比的大規(guī)模高性能，并且包含了很多創(chuàng)新性功能，提高了易用性和可訪問性。LSF 10支持?jǐn)?shù)以千計(jì)的并發(fā)用戶數(shù)，同時(shí)管理數(shù)以萬(wàn)計(jì)的節(jié)點(diǎn)資源，同時(shí)調(diào)度數(shù)以百萬(wàn)計(jì)的作業(yè)。通過IO模式優(yōu)化、將數(shù)據(jù)移到更靠近作業(yè)的地方、處理器間通信的優(yōu)化等方法，來提高作業(yè)的吞吐量性能。在LSF 10的Benchmark測(cè)試中，LSF可以在每小時(shí)調(diào)度分發(fā)9百萬(wàn)的作業(yè)(超短作業(yè))。在另外一組測(cè)試環(huán)境中，在100，000個(gè)Slots的LSF集群，縱向?qū)Ρ攘薒SF的性能提升，從圖中我們可以看是LSF 10的性能得到了大幅提升。
在線咨詢