十年演進(jìn)，阿里基礎(chǔ)架構(gòu)如何扛住全球最猛的流量洪峰?

時(shí)間：2023-08-13 03:54:01 | 來(lái)源：網(wǎng)站運(yùn)營(yíng)

時(shí)間：2023-08-13 03:54:01 來(lái)源：網(wǎng)站運(yùn)營(yíng)

十年演進(jìn)，阿里基礎(chǔ)架構(gòu)如何扛住全球最猛的流量洪峰?：第十個(gè)雙11即將來(lái)臨之際，《十年牧碼記》系列，邀請(qǐng)參與歷年雙11備戰(zhàn)的核心技術(shù)大牛，一起回顧阿里技術(shù)的變遷。

今天，阿里系統(tǒng)軟件事業(yè)部資深技術(shù)專(zhuān)家叔同，為我們講述基礎(chǔ)架構(gòu)這十年的演進(jìn)歷程：從技術(shù)追趕期，技術(shù)成熟期，再到爆發(fā)期，我們不僅支撐了雙11年年攀升的峰值，更將萬(wàn)筆交易新增成本下降為原來(lái)的1/4。這一切離不開(kāi)集團(tuán)容器化、統(tǒng)一調(diào)度、混合云彈性架構(gòu)、混合部署、存儲(chǔ)計(jì)算分離等技術(shù)。




2018年是雙11的第十個(gè)年頭，回過(guò)頭來(lái)看在基礎(chǔ)技術(shù)領(lǐng)域的發(fā)展可以分為三個(gè)階段：

1、2012年及以前屬于技術(shù)追趕期，主要是遇到問(wèn)題解決問(wèn)題，最大的挑戰(zhàn)是穩(wěn)定性；

2、2013年到2014年屬于技術(shù)成熟期，沉淀和創(chuàng)造了大量技術(shù)。包括全鏈路壓測(cè)和異地多活，能夠保住穩(wěn)定性基本盤(pán)，實(shí)現(xiàn)跨地域水平擴(kuò)展，IDC/網(wǎng)絡(luò)/服務(wù)器從維護(hù)運(yùn)營(yíng)向自主研發(fā)演進(jìn)。這一時(shí)期業(yè)界Docker和Kubernetes開(kāi)始起步，阿里也同期開(kāi)始了PouchContainer和Sigma集群管理前身的研發(fā)(AliDocker/Zeus)；

3、2015年及以后屬于技術(shù)爆發(fā)期，技術(shù)迭代速度加快，基礎(chǔ)設(shè)施通過(guò)集約化和統(tǒng)一化進(jìn)一步釋放規(guī)模紅利。包括基礎(chǔ)設(shè)施的升級(jí)，大規(guī)模基地型數(shù)據(jù)中心落地，在線業(yè)務(wù)容器化的完成，從單一業(yè)務(wù)調(diào)度向統(tǒng)一調(diào)度全業(yè)務(wù)在離線混部演進(jìn)，從集團(tuán)自身到集成阿里云公共云搭建混合云彈性架構(gòu)，存儲(chǔ)計(jì)算分離等，統(tǒng)一調(diào)度云化架構(gòu)開(kāi)始發(fā)揮威力。通過(guò)基礎(chǔ)技術(shù)的升級(jí)和統(tǒng)一，提高了全局資源復(fù)用能力，不但提升了技術(shù)端的效率，大幅降低成本，還提升了技術(shù)控制力，進(jìn)一步增強(qiáng)穩(wěn)定性，并且開(kāi)始了智能化的嘗試和演進(jìn)。




其中有幾個(gè)關(guān)鍵節(jié)點(diǎn)：

• 2013年全鏈路壓測(cè)上線，使我們具備了業(yè)務(wù)鏈條全覆蓋的壓測(cè)驗(yàn)證手段，有能力在生產(chǎn)環(huán)境去保障系統(tǒng)穩(wěn)定性的確定性。
• 2014年單元化異地多活應(yīng)用于雙11，使我們具備了遠(yuǎn)距離異地部署和異地?cái)U(kuò)展的能力。

這兩種技術(shù)結(jié)合起來(lái)，使我們具備了使用彈性資源快速擴(kuò)展，并能快速驗(yàn)證穩(wěn)定性交付驗(yàn)收的能力，使得雙11峰值高速增長(zhǎng)快速擴(kuò)展下的技術(shù)保障成為了可能。穩(wěn)定性和可擴(kuò)展的問(wèn)題解決了，面對(duì)雙11峰值，接下來(lái)最大的挑戰(zhàn)就是成本。

2015年混合云彈性架構(gòu)，自研基礎(chǔ)設(shè)施；2016年容器化、統(tǒng)一調(diào)度；2017年混合部署、存儲(chǔ)計(jì)算分離試水；2018年基地型數(shù)據(jù)中心、大規(guī)?；旌喜渴?、存儲(chǔ)計(jì)算分離全面落地，初步實(shí)現(xiàn)datacenter as a computer。

全鏈路壓測(cè)和異地多活講的比較多了，今天重點(diǎn)介紹下容器化、統(tǒng)一調(diào)度、混合云彈性架構(gòu)、混合部署、存儲(chǔ)計(jì)算分離等技術(shù)，如何全面降低大促成本。







每年雙11只有一天，如上圖所示雙11雙12的峰值是日常峰值的幾十倍、十幾倍，為了準(zhǔn)備雙11當(dāng)天峰值容量要采購(gòu)大量資源，數(shù)倍于平時(shí)，大促過(guò)后資源利用率不高，通過(guò)搬遷、騰挪、拆借去滿足集團(tuán)各種各樣的其他活動(dòng)，資源整體彈性能力不足，會(huì)形成較長(zhǎng)時(shí)間的低效運(yùn)行期，成本浪費(fèi)較大；運(yùn)維體系差異大，資源調(diào)度不統(tǒng)一，各版塊無(wú)法平滑復(fù)用，每個(gè)業(yè)務(wù)版塊有不同的Buffer池子，在線率、分配率、利用率無(wú)法統(tǒng)一，機(jī)型需求也比較龐雜。

這種支撐模式難以為繼，同時(shí)阿里云技術(shù)發(fā)展很快體量較大，具備很大的資源彈性能力，所以在2015年我們發(fā)起了云化架構(gòu)項(xiàng)目，希望用電商Zeus調(diào)度打通阿里云平臺(tái)的資源彈性能力，在云平臺(tái)上快速搭建臨時(shí)交易單元站點(diǎn)，構(gòu)建混合云彈性架構(gòu)，去支撐快速增長(zhǎng)的交易峰值，降低大促成本，這里面有大量技術(shù)細(xì)節(jié)和創(chuàng)新，先不展開(kāi)。

• 大促資源成本 = 資源持有時(shí)間 * 資源持有規(guī)模

通過(guò)統(tǒng)一調(diào)度云化架構(gòu)優(yōu)化，2016年雙11萬(wàn)筆交易新增成本比2015年下降50%，2018年雙11萬(wàn)筆交易新增成本比2016年又下降50%，可見(jiàn)資源持有時(shí)間從全年變?yōu)閺椥猿钟袃?yōu)化效果最明顯，也可以看到我們做的一鍵建站和壓測(cè)輪次優(yōu)化節(jié)省時(shí)間意義重大，省時(shí)間省人不光提升效率還能帶來(lái)省成本的效果。整個(gè)3年時(shí)間通過(guò)基礎(chǔ)技術(shù)優(yōu)化，萬(wàn)筆交易新增成本下降為原來(lái)的1/4，這也是為什么我們能夠支撐這么高速的交易峰值增長(zhǎng)的原因之一。










為了看懂這張圖，先了解幾個(gè)公式：

• 交易日常容量 = 交易峰值容量 - 彈性容量合計(jì)
• 彈性容量合計(jì) = 混合云 + 混合部署 + 調(diào)度優(yōu)化
  

我們的成本優(yōu)化方向是：日常保持較小交易容量，大促時(shí)找到很多低成本彈性容量支撐臨時(shí)峰值。

彈性容量合計(jì)做得越高，越趨近交易峰值容量，交易日常容量越低，資源長(zhǎng)期持有成本越低；彈性容量合計(jì)中免費(fèi)的資源越多，大促交易新增成本則越低；對(duì)于有成本的大促增量部分，如混合云彈性架構(gòu)，降低成本，有兩種方式：縮小持有規(guī)?；蛘呖s短持有時(shí)間，近幾年每年在一鍵建站上的效率優(yōu)化都在50%以上，全鏈路壓測(cè)輪次和周期也會(huì)影響混合云資源持有時(shí)間，這里也還有很大優(yōu)化空間，所以效率和成本是可以產(chǎn)生直接關(guān)系的，當(dāng)然云的售賣(mài)速度一直在上升，buffer未來(lái)足以支撐集團(tuán)大促空缺需求；對(duì)于無(wú)成本的大促增量部分，加大持有規(guī)模，減少持有時(shí)間(盡量保證不影響共享資源的業(yè)務(wù))。




為了增加免費(fèi)大促資源，我們聯(lián)合多個(gè)兄弟BU從16年開(kāi)始儲(chǔ)備預(yù)演，進(jìn)行小規(guī)模驗(yàn)證，17年混合部署支撐大促4萬(wàn)筆交易，并在18年有3倍的規(guī)模提升；從17年開(kāi)始儲(chǔ)備Sigma彈性和分時(shí)復(fù)用技術(shù)，在18年會(huì)有8萬(wàn)筆大促容量的優(yōu)化落地。基礎(chǔ)技術(shù)的演進(jìn)落地都需要較長(zhǎng)的準(zhǔn)備周期，要提前兩到三年布局。為了統(tǒng)一調(diào)度必須要先統(tǒng)一運(yùn)行時(shí)，我們從15年年中開(kāi)始啟動(dòng)容器建設(shè)，年底完成和T4功能對(duì)齊，16年5月正式啟動(dòng)全網(wǎng)容器化，當(dāng)年100%的雙11交易流量都跑在了容器上。17年雙11前，完成核心電商應(yīng)用100%容器化，應(yīng)用數(shù)量破萬(wàn)，容器規(guī)模達(dá)到百萬(wàn)級(jí)。18年開(kāi)始了離線計(jì)算任務(wù)PouchContainer容器化的嘗試。







所謂的統(tǒng)一調(diào)度云化架構(gòu)到底是什么呢，可以參考上圖。集團(tuán)是一朵云，阿里云是一朵云，需要的時(shí)候可以打通構(gòu)建混合云。集團(tuán)的Sigma調(diào)度雙11時(shí)會(huì)通過(guò)OpenAPI批量申請(qǐng)Houyi管理的ECS資源，通過(guò)VPC進(jìn)行公共云網(wǎng)絡(luò)隔離，在大規(guī)格ECS上進(jìn)行運(yùn)行時(shí)PouchContainer容器分配和托管，通過(guò)一鍵建站部署交易單元，用最簡(jiǎn)潔高效的形式上云；在集團(tuán)內(nèi)部，逐層重構(gòu)升級(jí)，彈性復(fù)用資源，全局統(tǒng)一調(diào)度，使技術(shù)全面云化，得以把在線服務(wù)和計(jì)算任務(wù)混合部署，通過(guò)Sigma和Fuxi調(diào)度打通，日常時(shí)將離線計(jì)算任務(wù)引入在線集群，大促時(shí)將在線服務(wù)引入離線集群，大幅優(yōu)化成本。




在混部實(shí)施中，技術(shù)挑戰(zhàn)巨大，由于在線服務(wù)與計(jì)算任務(wù)對(duì)機(jī)型要求有較大的差別，通過(guò)存儲(chǔ)計(jì)算分離技術(shù)(盤(pán)古存儲(chǔ))，把資源分為計(jì)算節(jié)點(diǎn)和存儲(chǔ)節(jié)點(diǎn)兩大類(lèi)，抹平了異構(gòu)機(jī)型帶來(lái)的差異性。在資源隔離技術(shù)方面，從服務(wù)器的內(nèi)核層面，對(duì) CPU、內(nèi)存、IO、網(wǎng)絡(luò)等多方面進(jìn)行優(yōu)先級(jí)的劃分，做到對(duì)相關(guān)任務(wù)的毫秒級(jí)自適性調(diào)度或限制；通過(guò)運(yùn)行干擾檢測(cè)和資源畫(huà)像調(diào)度優(yōu)化，以保證高優(yōu)先級(jí)的任務(wù)少受影響?；觳空{(diào)度和運(yùn)維體系的打通、兼容和升級(jí)本身也花費(fèi)了很大精力。




統(tǒng)一調(diào)度把多個(gè)數(shù)據(jù)中心像一臺(tái)計(jì)算機(jī)一樣來(lái)管理，可以跨多個(gè)不同的平臺(tái)來(lái)調(diào)度業(yè)務(wù)發(fā)展所需的資源，構(gòu)建混合集群以極低成本拿到服務(wù)器，先解決有沒(méi)有的問(wèn)題，通過(guò)彈性分時(shí)復(fù)用和混部大幅提升資源利用率，解決用得好不好的問(wèn)題；真正實(shí)現(xiàn)彈性資源平滑復(fù)用、任務(wù)靈活混合部署，用最少服務(wù)器、最短時(shí)間、最優(yōu)效率完成容量目標(biāo)，做到datacenter as a computer?；旌喜渴鸩坏瘟舜蟠?，還可以通過(guò)任務(wù)調(diào)度使得日常在線服務(wù)器CPU利用率超過(guò)45%，使得日常IT成本下降30%的優(yōu)化，帶來(lái)統(tǒng)一調(diào)度和云化架構(gòu)領(lǐng)域的技術(shù)價(jià)值爆發(fā)。




這也說(shuō)明容器、編排調(diào)度、集群管理等云原生技術(shù)最近幾年的流行是行業(yè)發(fā)展的必然趨勢(shì)，是云計(jì)算時(shí)代一股不可忽視的力量，運(yùn)維層這一部分的行業(yè)價(jià)值還遠(yuǎn)遠(yuǎn)沒(méi)有被釋放，未來(lái)阿里集團(tuán)儲(chǔ)備的這些有競(jìng)爭(zhēng)力的技術(shù)都可以在云上賦能行業(yè)客戶(hù)，并推動(dòng)行業(yè)技術(shù)標(biāo)準(zhǔn)化的發(fā)展。




從2015年到2018年，雙11新增萬(wàn)筆交易成本已經(jīng)下降為原來(lái)的1/4，隨著交易峰值的不斷高速增長(zhǎng)，統(tǒng)一調(diào)度這個(gè)技術(shù)方向與多個(gè)BU的通力合作，幾年累計(jì)帶來(lái)大促直接&間接成本節(jié)約效益巨大，釋放了規(guī)?；?yīng)下的技術(shù)紅利。




隨著阿里繼續(xù)在統(tǒng)一調(diào)度云化架構(gòu)混合部署等技術(shù)方向的深耕，未來(lái)大促新增資源成本有望做到零增加，值得挑戰(zhàn)值得期待。