大型網(wǎng)站技術(shù)架構(gòu)剖析
時(shí)間：2023-07-13 06:18:02 | 來源：網(wǎng)站運(yùn)營(yíng)
時(shí)間：2023-07-13 06:18:02 來源：網(wǎng)站運(yùn)營(yíng)
大型網(wǎng)站技術(shù)架構(gòu)剖析：本文借鑒與:<<大型網(wǎng)站技術(shù)架構(gòu)：核心原理與案例分析>>
大型網(wǎng)站系統(tǒng)的特點(diǎn)
- 高并發(fā)，大流量 40億。PV。page view。3.5億，IP。
- 高可用，高可用MySQL。7*24小時(shí)不間斷運(yùn)行。
- 海量數(shù)據(jù)
- 用戶分布廣泛，網(wǎng)絡(luò)情況復(fù)雜
- 安全環(huán)境惡劣
- 需求快速變更，發(fā)布頻繁
- 漸進(jìn)式發(fā)展
網(wǎng)站架構(gòu)演化發(fā)展歷程
初始階段的網(wǎng)站（特點(diǎn)：沒人）
應(yīng)用程序、數(shù)據(jù)庫(kù)、文件都在一個(gè)服務(wù)器上
應(yīng)用服務(wù)和數(shù)據(jù)服務(wù)分離
隨著網(wǎng)站業(yè)務(wù)的發(fā)展，一臺(tái)服務(wù)器逐漸不能滿足需求：性能越來越差，存儲(chǔ)空間不足。這是就需要應(yīng)用和數(shù)據(jù)分離。
應(yīng)用服務(wù)器
- 處理大量的業(yè)務(wù)
- 需要更快更強(qiáng)的CPU
數(shù)據(jù)庫(kù)服務(wù)器
- 需要快速磁盤檢索和數(shù)據(jù)緩存
- 需要更快的硬盤和更大的內(nèi)存
文件服務(wù)器
使用緩存改善網(wǎng)站性能
網(wǎng)站訪問的特點(diǎn)和二八定律一樣：80%的業(yè)務(wù)訪問集中在20%的數(shù)據(jù)上。所以如果把這一小部分?jǐn)?shù)據(jù)緩存在內(nèi)存中，可以減少數(shù)據(jù)庫(kù)的訪問壓力，提高整個(gè)網(wǎng)站的數(shù)據(jù)訪問速度，改善數(shù)據(jù)庫(kù)的寫入性能。
網(wǎng)站使用的緩存可以分為兩種：緩存在應(yīng)用服務(wù)器上的本地緩存和緩存在專門的分布緩存服務(wù)器上的遠(yuǎn)程緩存。
本地緩存的訪問快一些，但受應(yīng)用服務(wù)器內(nèi)存限制，緩存數(shù)據(jù)量有限，遠(yuǎn)程分布式緩存可以使用集群的方式，部署大內(nèi)存的服務(wù)器作為專門的緩存服務(wù)器，理論上做到不受內(nèi)存容量的限制的緩存服務(wù)。
使用應(yīng)用服務(wù)器集群改善并發(fā)處理能力
使用緩存后，數(shù)據(jù)訪問壓力得到有效的緩解，但是單一應(yīng)用服務(wù)器能夠處理的請(qǐng)求連接有限，在網(wǎng)站高峰期，應(yīng)用服務(wù)器成為整個(gè)網(wǎng)站的瓶頸。
使用集群是網(wǎng)站解決高并發(fā)，海量數(shù)據(jù)問題的常用手段。通過負(fù)載均衡調(diào)度服務(wù)器，可將來自用戶瀏覽器的訪問請(qǐng)求分發(fā)到應(yīng)用服務(wù)器集群中的任何一臺(tái)服務(wù)器上。如果有更多用戶，就是集群中加入更多的應(yīng)用服務(wù)器，使應(yīng)用服務(wù)器的負(fù)載壓力不再成為整個(gè)網(wǎng)站的瓶頸
數(shù)據(jù)庫(kù)讀寫分離
網(wǎng)站在使用緩存后，使絕大部分?jǐn)?shù)據(jù)操作訪問都可以不通過數(shù)據(jù)庫(kù)就能完成，但是仍有一部分讀操作（緩存訪問不命中，緩存過期）和全部的寫操作需要訪問數(shù)據(jù)庫(kù)，在網(wǎng)站的用戶達(dá)到一定規(guī)模后，數(shù)據(jù)庫(kù)因?yàn)樨?fù)載壓力過高而成為網(wǎng)站的瓶頸。
目前大部分的主流數(shù)據(jù)庫(kù)都提供主從熱備功能，通過配置兩臺(tái)數(shù)據(jù)主從關(guān)系，可以將一臺(tái)數(shù)據(jù)庫(kù)服務(wù)的數(shù)據(jù)更新同步到另一臺(tái)服務(wù)器上。網(wǎng)站利用數(shù)據(jù)庫(kù)的這一功能，實(shí)現(xiàn)數(shù)據(jù)庫(kù)的讀寫分離，從而改善數(shù)據(jù)庫(kù)負(fù)載壓力。
使用反向代理和CDN加速網(wǎng)站響應(yīng)
隨著網(wǎng)站業(yè)務(wù)不斷發(fā)展，用戶規(guī)模越來越大，由于中國(guó)復(fù)雜的網(wǎng)絡(luò)環(huán)境，不同地區(qū)的用戶訪問網(wǎng)站時(shí)，速度差別也極大，為了提供更好的用戶體驗(yàn)，留住用戶，網(wǎng)站需要加速網(wǎng)站訪問速度，主要手段有使用CDN的反向代理。
CDN的反向代理的基本原理都是緩存，區(qū)別在于CDN布署在網(wǎng)絡(luò)提供商的機(jī)房；而反向代理則部署在網(wǎng)站的中心機(jī)房，當(dāng)用戶請(qǐng)求到達(dá)中心機(jī)房后，首先訪問的服務(wù)器是反向代理服務(wù)器，如果反向代理中緩存著用戶請(qǐng)求的資源，就將其直接返回組用戶。
使用CDN的反向代理的目的都是盡早的返回?cái)?shù)據(jù)給用戶，一方面加快用戶的訪問速度，另一方面也減輕后端服務(wù)器的負(fù)載壓力。
使用分布式文件系統(tǒng)和分布式數(shù)據(jù)庫(kù)系統(tǒng)
任何強(qiáng)大的單一服務(wù)器都滿足不了大型網(wǎng)站持續(xù)增長(zhǎng)的業(yè)務(wù)需求。數(shù)據(jù)庫(kù)經(jīng)過讀寫分離后，從一臺(tái)服務(wù)器拆分成兩臺(tái)服務(wù)器，但是隨著網(wǎng)站業(yè)務(wù)的發(fā)展依然不能滿足需求，這時(shí)需要使用分布式數(shù)據(jù)庫(kù)，文件系統(tǒng)也是一樣，需要使用分布式文件系統(tǒng)。
分布式數(shù)據(jù)庫(kù)是網(wǎng)站數(shù)據(jù)庫(kù)拆分的最后手段，只有在單表規(guī)模非常大的時(shí)候才用。不到不得已時(shí)，網(wǎng)站更常用的數(shù)據(jù)庫(kù)拆分手段是業(yè)務(wù)分庫(kù)，將不同業(yè)務(wù)的數(shù)據(jù)庫(kù)部署在不同的物理服務(wù)器上。
使用NoSQL和搜索引擎
隨著網(wǎng)站業(yè)務(wù)越來越復(fù)雜，對(duì)數(shù)據(jù)存儲(chǔ)和檢索的需求也越來越復(fù)雜，網(wǎng)站需要采用一些非關(guān)系數(shù)據(jù)庫(kù)技術(shù)如NoSQL和非數(shù)據(jù)庫(kù)查詢技術(shù)如搜索引擎。
NoSQL的搜索引擎都是源自互聯(lián)網(wǎng)的技術(shù)手段，對(duì)可伸縮的分布式特性具有更好的支持。應(yīng)用服務(wù)器則通過一個(gè)統(tǒng)一的數(shù)據(jù)訪問模塊訪問各種數(shù)據(jù)，減輕應(yīng)用程序管理諸多數(shù)據(jù)源的麻煩。
業(yè)務(wù)拆分
大型網(wǎng)站為了應(yīng)對(duì)日益復(fù)雜的業(yè)務(wù)場(chǎng)景，通過使用分而治之的手段將整個(gè)網(wǎng)站業(yè)務(wù)分成不同的產(chǎn)品線，如大型購(gòu)物網(wǎng)站就會(huì)將首頁(yè)、商鋪、訂單、買家、賣家等拆分成不同的產(chǎn)品項(xiàng)，分歸不同的業(yè)務(wù)團(tuán)隊(duì)負(fù)責(zé)。
具本技術(shù)上，也會(huì)根據(jù)產(chǎn)品線劃分，將一個(gè)網(wǎng)站拆分成許多不同的應(yīng)用，每個(gè)應(yīng)用獨(dú)立部署維護(hù)。應(yīng)用之間可以通過一個(gè)超鏈接建立關(guān)系，也可以通過消息隊(duì)列進(jìn)行數(shù)據(jù)分發(fā)，當(dāng)然最多還是通過訪問同一個(gè)數(shù)據(jù)存儲(chǔ)系統(tǒng)來構(gòu)成一個(gè)關(guān)聯(lián)的完整系統(tǒng)。
分布式服務(wù)
隨著業(yè)務(wù)拆分越來越小，存儲(chǔ)系統(tǒng)越來越龐大，應(yīng)用系統(tǒng)的整體復(fù)雜度呈指數(shù)級(jí)增加，部署維護(hù)越來越困難。由于所有應(yīng)用要和所有數(shù)據(jù)庫(kù)系統(tǒng)連接，在數(shù)萬臺(tái)服務(wù)器規(guī)模的網(wǎng)站中這些連接數(shù)目是服務(wù)器規(guī)模的平方，導(dǎo)致數(shù)據(jù)庫(kù)連接資源不足，拒絕服務(wù)。
既然每一個(gè)應(yīng)用都要執(zhí)行許多相同的業(yè)務(wù)操作，比如用戶管理、商品管理等，那么可以將這些共用的業(yè)務(wù)提取出來，獨(dú)立部署。由這些可復(fù)用的業(yè)務(wù)連接數(shù)據(jù)庫(kù)，提供業(yè)務(wù)服務(wù)，而應(yīng)用系統(tǒng)只需要管理用戶界面，通過分布式服務(wù)調(diào)用共用業(yè)務(wù)服務(wù)完成具體業(yè)務(wù)操作。
網(wǎng)站架構(gòu)設(shè)計(jì)誤區(qū)
1.一味追隨大公司的解決方案
2.為了技術(shù)而技術(shù)
3.企圖用技術(shù)解決所有問題
大型網(wǎng)站架構(gòu)模式
為了解決大型網(wǎng)站面臨的高并發(fā)訪問、海量數(shù)據(jù)處理、高可靠運(yùn)行等一系列問題與挑戰(zhàn)，大型互聯(lián)網(wǎng)公司在實(shí)踐中提出了許多解決方案，以實(shí)現(xiàn)網(wǎng)站高性能、高可用、易伸縮、可擴(kuò)展、安全等各種技術(shù)架構(gòu)目標(biāo)。這些解決方案又被更多網(wǎng)站重復(fù)使用，從而逐漸形成大型網(wǎng)站架構(gòu)模式。
網(wǎng)站架構(gòu)模式
1.分層
分層是企業(yè)應(yīng)用系統(tǒng)中最常見的一種架構(gòu)模式，將系統(tǒng)在橫向維度上切分成幾個(gè)部分，每個(gè)部分負(fù)責(zé)一部分相對(duì)比較單一的職責(zé)，然后通過上層對(duì)下層的依賴和調(diào)用組成一個(gè)完整的系統(tǒng)。
在大型網(wǎng)站架構(gòu)中也采用分層結(jié)構(gòu)，將網(wǎng)站軟件系統(tǒng)分為應(yīng)用層、服務(wù)層、數(shù)據(jù)層.
2.分割
網(wǎng)站越大，功能越復(fù)雜，服務(wù)和數(shù)據(jù)處理的種類也越多，將這些不同的功能和服務(wù)分割開來，包裝成高內(nèi)聚低耦合的模塊單元，一方面有助于軟件的開發(fā)和維護(hù)；另一方面，便于不同模塊的分布式部署，提高網(wǎng)站的并發(fā)處理能力和功能擴(kuò)展能力。
大型網(wǎng)站分割的粒度可能會(huì)很小。比如在應(yīng)用層，將不同業(yè)務(wù)進(jìn)行分割，例如將購(gòu)物、論壇、搜索、廣告分割成不同的應(yīng)用，由獨(dú)立的團(tuán)隊(duì)負(fù)責(zé)，部署在不同的服務(wù)器上；在同一個(gè)應(yīng)用內(nèi)部，如果規(guī)模龐大業(yè)務(wù)復(fù)雜，會(huì)繼續(xù)進(jìn)行分割，比如購(gòu)物業(yè)務(wù)，可以進(jìn)一步分割成機(jī)票酒店業(yè)務(wù)、3C 業(yè)務(wù)，小商品業(yè)務(wù)等更細(xì)小的粒度。而即使在這個(gè)粒度上，還是可以繼續(xù)分割成首頁(yè)、搜索列表、商品詳情等模塊，這些模塊不管在邏輯上還是物理部署上，都可以是獨(dú)立的。同樣在服務(wù)層也可以根據(jù)需要將服務(wù)分割成合適的模塊。
3.分布式
對(duì)于大型網(wǎng)站，分層和分割的一個(gè)主要目的是為了切分后的模塊便于分布式部署，即將不同模塊部署在不同的服務(wù)器上，通過遠(yuǎn)程調(diào)用協(xié)同工作。分布式意味著可以使用更多的計(jì)算機(jī)完成同樣的功能，計(jì)算機(jī)越多，CPU、內(nèi)存、存儲(chǔ)資源也就越多，能夠處理的并發(fā)訪問和數(shù)據(jù)量就越大，進(jìn)而能夠?yàn)楦嗟挠脩籼峁┓?wù)。
常用的分布式方案
1.分布式應(yīng)用和服務(wù)
2.分布式靜態(tài)資源
3.分布式數(shù)據(jù)和存儲(chǔ)
4.分布式計(jì)算
5.分布式配置
6.分布式文件系統(tǒng)
4.集群
使用分布式雖然已經(jīng)將分層和分割后的模塊獨(dú)立部署，但是對(duì)于用戶訪問集中的模塊（比如網(wǎng)站的首頁(yè)），還需要將獨(dú)立部署的服務(wù)器集群化，即多臺(tái)服務(wù)器部署相同應(yīng)用構(gòu)成一個(gè)集群，通過負(fù)載均衡設(shè)備共同對(duì)外提供服務(wù)。
因?yàn)榉?wù)器集群有更多服務(wù)器提供相同服務(wù)，因此可以提供更好的并發(fā)特性，當(dāng)有更多用戶訪問的時(shí)候，只需要向集群中加入新的機(jī)器即可。同時(shí)因?yàn)橐粋€(gè)應(yīng)用由多臺(tái)服務(wù)器提供，當(dāng)某臺(tái)服務(wù)器發(fā)生故障時(shí)，負(fù)載均衡設(shè)備或者系統(tǒng)的失效轉(zhuǎn)移機(jī)制會(huì)將請(qǐng)求轉(zhuǎn)發(fā)到集群中其他服務(wù)器上，使服務(wù)器故障不影響用戶使用。所以在網(wǎng)站應(yīng)用中，即使是訪問量很小的分布式應(yīng)用和服務(wù)，也至少要部署兩臺(tái)服務(wù)器構(gòu)成一個(gè)小的集群，目的就是提高系統(tǒng)的可用性。
5.緩存
緩存就是將數(shù)據(jù)存放在距離計(jì)算最近的位置以加快處理速度。緩存是改善軟件性能的第一手段，現(xiàn)代CPU 越來越快的一個(gè)重要因素就是使用了更多的緩存，在復(fù)雜的軟件設(shè)計(jì)中，緩存幾乎無處不在。大型網(wǎng)站架構(gòu)設(shè)計(jì)在很多方面都使用了緩存設(shè)計(jì)。
緩存技術(shù):
內(nèi)容分發(fā)網(wǎng)絡(luò)(CDN) 反向代理
本地緩存 分布式緩存
使用前題:
1.數(shù)據(jù)訪問熱點(diǎn)不均衡
2.是數(shù)據(jù)在某個(gè)時(shí)間段內(nèi)有效，不會(huì)很快過期
6.異步
大型網(wǎng)站架構(gòu)中，系統(tǒng)解耦合的手段除了前面提到的分層、分割、分布等，還有一個(gè)重要手段是異步，業(yè)務(wù)之間的消息傳遞不是同步調(diào)用，而是將一個(gè)業(yè)務(wù)操作分成多個(gè)階段，每個(gè)階段之間通過共享數(shù)據(jù)的方式異步執(zhí)行進(jìn)行協(xié)作。
單服務(wù)器:
通過多線程共享內(nèi)存隊(duì)列的方式實(shí)現(xiàn)異步，處在業(yè)務(wù)操作前面的線程將輸出寫入到隊(duì)列，后面的線程從隊(duì)列中讀取數(shù)據(jù)進(jìn)行處理
分布式系統(tǒng):
多個(gè)服務(wù)器集群通過分布式消息隊(duì)列實(shí)現(xiàn)異步，分布式消息隊(duì)列可以看作內(nèi)存隊(duì)列的分布式部署。
特性:
只要保持?jǐn)?shù)據(jù)結(jié)構(gòu)不變，彼此功能實(shí)現(xiàn)可以隨意變化而不互相影響.
提高系統(tǒng)可用性
加快網(wǎng)站響應(yīng)速度
消除并發(fā)訪問高峰
7.冗余
網(wǎng)站需要 7X24 小時(shí)連續(xù)運(yùn)行，但是服務(wù)器隨時(shí)可能出現(xiàn)故障，特別是服務(wù)器規(guī)模比較大時(shí)，出現(xiàn)某臺(tái)服務(wù)器宕機(jī)是必然事件。要想保證在服務(wù)器宕機(jī)的情況下網(wǎng)站依然可以繼續(xù)服務(wù)，不丟失數(shù)據(jù)，就需要一定程度的服務(wù)器冗余運(yùn)行，數(shù)據(jù)冗余備份，這樣當(dāng)某臺(tái)服務(wù)器宕機(jī)時(shí)，可以將其上的服務(wù)和數(shù)據(jù)訪問轉(zhuǎn)移到其他機(jī)器上。
訪問和負(fù)載很小的服務(wù)也必須部署至少兩臺(tái)服務(wù)器構(gòu)成一個(gè)集群，其目的就是通過冗余實(shí)現(xiàn)服務(wù)高可用。數(shù)據(jù)庫(kù)除了定期備份，存檔保存，實(shí)現(xiàn)冷備份外，為了保證在線業(yè)務(wù)高可用，還需要對(duì)數(shù)據(jù)庫(kù)進(jìn)行主從分離，實(shí)時(shí)同步實(shí)現(xiàn)熱備份。
為了抵御地震、海嘯等不可抗力導(dǎo)致的網(wǎng)站完全癱瘓，某些大型網(wǎng)站會(huì)對(duì)整個(gè)數(shù)據(jù)中心進(jìn)行備份，全球范圍內(nèi)部署災(zāi)備數(shù)據(jù)中心。網(wǎng)站程序和數(shù)據(jù)實(shí)時(shí)同步到多個(gè)災(zāi)備數(shù)據(jù)中心。
8.自動(dòng)化
在無人值守的情況下網(wǎng)站可以正常運(yùn)行，一切都可以自動(dòng)化是網(wǎng)站的理想狀態(tài)。目前大型網(wǎng)站的自動(dòng)化架構(gòu)設(shè)計(jì)主要集中在發(fā)布運(yùn)維方面。
網(wǎng)站在運(yùn)行過程中可能會(huì)遇到各種問題：服務(wù)器宕機(jī)、程序Bug、存儲(chǔ)空間不足、突然爆發(fā)的訪問高峰。網(wǎng)站需要對(duì)線上生產(chǎn)環(huán)境進(jìn)行自動(dòng)化監(jiān)控，對(duì)服務(wù)器進(jìn)行心跳檢測(cè)，并監(jiān)控其各項(xiàng)性能指標(biāo)和應(yīng)用程序的關(guān)鍵數(shù)據(jù)指標(biāo)。如果發(fā)現(xiàn)異常、超出預(yù)設(shè)的閾值，就進(jìn)行自動(dòng)化報(bào)警，向相關(guān)人員發(fā)送報(bào)警信息，警告故障可能會(huì)發(fā)生。在檢測(cè)到故障發(fā)生后，系統(tǒng)會(huì)進(jìn)行自動(dòng)化失效轉(zhuǎn)移，將失效的服務(wù)器從集群中隔離出去，不再處理系統(tǒng)中的應(yīng)用請(qǐng)求。待故障消除后，系統(tǒng)進(jìn)行自動(dòng)化失效恢復(fù)，重新啟動(dòng)服務(wù)，同步數(shù)據(jù)保證數(shù)據(jù)的一致性。在網(wǎng)站遇到訪問高峰，超出網(wǎng)站最大處理能力時(shí)，為了保證整個(gè)網(wǎng)站的安全可用，還會(huì)進(jìn)行自動(dòng)化降級(jí)，通過拒絕部分請(qǐng)求及關(guān)閉部分不重要的服務(wù)將系統(tǒng)負(fù)載降至一個(gè)安全的水平，必要時(shí)，還需要自動(dòng)化分配資源，將空閑資源分配給重要的服務(wù)，擴(kuò)大其部署規(guī)模。
9.安全
互聯(lián)網(wǎng)的開放特性使得從誕生起就面對(duì)巨大的安全挑戰(zhàn)，網(wǎng)站在安全架構(gòu)方面也積累了許多模式：通過密碼和手機(jī)校驗(yàn)碼進(jìn)行身份認(rèn)證；登錄、交易等操作需要對(duì)網(wǎng)絡(luò)通信進(jìn)行加密，網(wǎng)站服務(wù)器上存儲(chǔ)的敏感數(shù)據(jù)如用戶信息等也進(jìn)行加密處理；為了防止機(jī)器人程序?yàn)E用網(wǎng)絡(luò)資源攻擊網(wǎng)站，網(wǎng)站使用驗(yàn)證碼進(jìn)行識(shí)別；對(duì)于常見的用于攻擊網(wǎng)站的XSS攻擊、SQL注入、進(jìn)行編碼轉(zhuǎn)換等相應(yīng)處理；對(duì)于垃圾信息、敏感進(jìn)行過濾；對(duì)交易轉(zhuǎn)賬等重要操作根據(jù)交易模式和交易信息進(jìn)行風(fēng)險(xiǎn)控制
在線咨詢