大型網(wǎng)站架構(gòu)設(shè)計(jì) 10 步驟，大流量高并發(fā)不用慌

時(shí)間：2023-09-17 08:48:01 | 來源：網(wǎng)站運(yùn)營

時(shí)間：2023-09-17 08:48:01 來源：網(wǎng)站運(yùn)營

大型網(wǎng)站架構(gòu)設(shè)計(jì) 10 步驟，大流量高并發(fā)不用慌：

一、大型網(wǎng)站系統(tǒng)的特點(diǎn)

高并發(fā)，大流量: 需要面對高并發(fā)用戶，大流量訪問，Google日均PV數(shù)為35億，日均IP訪問數(shù)為3億，2011年騰訊QQ最大用戶在線數(shù)1.4億，淘寶2012年雙11活動(dòng)一天交易額191億，活動(dòng)開始第一分鐘獨(dú)立訪問用戶達(dá)1000萬

拓展: PV、UV、IV的概念
PV: PV訪問量（Page View），即頁面訪問量，每打開一次頁面PV計(jì)數(shù)+1，刷新頁面也是。
UV: UV訪問數(shù)（Unique Visitor）指獨(dú)立訪客訪問數(shù)，一臺電腦終端為一個(gè)訪客。
IV: IV是IP訪問數(shù)指獨(dú)立IP訪問數(shù)，計(jì)算是以一個(gè)獨(dú)立的IP在一個(gè)計(jì)算時(shí)段內(nèi)訪問網(wǎng)站計(jì)算為1次IP訪問數(shù)。在同一個(gè)計(jì)算時(shí)段內(nèi)不管這個(gè)IP訪問多少次均計(jì)算為1次。計(jì)算時(shí)段有以1天為一個(gè)計(jì)算時(shí)段，也有以1個(gè)小時(shí)為一個(gè)計(jì)算時(shí)段

高可用: 7 * 24小時(shí)不間斷提供服務(wù)。大型網(wǎng)站的宕機(jī)一般會(huì)成為焦點(diǎn)，例如2010年百度域名被黑客劫持事件，雙11淘寶宕機(jī)事件，12306網(wǎng)站并發(fā)數(shù)過高的宕機(jī)事件，微博流量明星宕機(jī)事件。





海量數(shù)據(jù)：需要存儲管理海量的數(shù)據(jù)，同時(shí)需要大量服務(wù)器，F(xiàn)acebook 每周上傳的照片數(shù)目接近10億，百度收錄的網(wǎng)站有百億，Google有接近百萬臺服務(wù)器為全球用戶提供服務(wù)。
用戶分布廣泛，網(wǎng)絡(luò)情況復(fù)雜：許多大型互聯(lián)網(wǎng)公司都是為全球用戶提供服務(wù)，各地網(wǎng)絡(luò)情況千差萬別，在國內(nèi)，還有各個(gè)運(yùn)營商網(wǎng)絡(luò)互通難的問題，而中美光纜的數(shù)次故障，也讓很多互聯(lián)網(wǎng)公司不得不考慮在海外建立數(shù)據(jù)中心。


安全環(huán)境惡劣: 由于互聯(lián)網(wǎng)的開放性，使大型互聯(lián)網(wǎng)公司更易遭到黑客的攻擊，例如facebook用戶泄漏事件。





需求快速變更，發(fā)布頻繁: 和傳統(tǒng)的企業(yè)級應(yīng)用不同，互聯(lián)網(wǎng)公司為快速適應(yīng)市場，滿足用戶需求，其產(chǎn)品發(fā)布頻率是極高的。至于中小型互聯(lián)網(wǎng)公司的發(fā)布頻率，那就更高了，有時(shí)候一天會(huì)發(fā)布十幾次
漸進(jìn)式發(fā)展: 與傳統(tǒng)行業(yè)一開始規(guī)劃好全部的功能和非功能的需求不同，很多大型互聯(lián)網(wǎng)公司都是從小公司開始做起，漸進(jìn)的發(fā)展起來的。Facebook的創(chuàng)始人扎克伯克在哈佛的宿舍開發(fā)出來的，阿里巴巴是誕生在馬云家的客廳的，好的互聯(lián)網(wǎng)產(chǎn)品都是迭代出來的，不是一開始就發(fā)展的很好的。

二、大型網(wǎng)站的演變過程

1. 初始階段的網(wǎng)站架構(gòu)
大型網(wǎng)站都是從小型網(wǎng)站發(fā)展起來的，網(wǎng)站架構(gòu)也是一樣，網(wǎng)站剛開始搭建處于雛形階段，訪問量小，一臺服務(wù)器完全夠用，也是大部分企業(yè)級應(yīng)用的選擇





應(yīng)用程序，數(shù)據(jù)庫，文件都部署在一臺服務(wù)器的，通常服務(wù)器選用Linux，應(yīng)用程序選用PHP，然后部署在Apache 上，數(shù)據(jù)庫使用MySQL，匯集各種開源軟件以及一架廉價(jià)的服務(wù)器就可以進(jìn)行開發(fā)


2. 應(yīng)用服務(wù)和數(shù)據(jù)分離
隨著業(yè)務(wù)的發(fā)展，一臺服務(wù)器不能滿足業(yè)務(wù)需求：越來越多的用戶訪問導(dǎo)致性能越來越差，越來越多的數(shù)據(jù)導(dǎo)致服務(wù)器存儲空間不足，這就需要將應(yīng)用和數(shù)據(jù)分離。應(yīng)用和數(shù)據(jù)分離后整個(gè)網(wǎng)站使用三臺服務(wù)器，應(yīng)用服務(wù)器，文件服務(wù)器，數(shù)據(jù)庫服務(wù)器





應(yīng)用和數(shù)據(jù)分離后，不同特性的服務(wù)器承擔(dān)不同的服務(wù)角色，網(wǎng)站的并發(fā)處理能力和數(shù)據(jù)存儲都得到了很大的改善，支持業(yè)務(wù)的進(jìn)一步發(fā)展。但是隨著業(yè)務(wù)的增多，訪問量增大，網(wǎng)站又一次面臨挑戰(zhàn)，數(shù)據(jù)庫壓力太多導(dǎo)致訪問延遲，進(jìn)而影響整個(gè)網(wǎng)站的性能，用戶體驗(yàn)收到影響
3. 使用緩存改善網(wǎng)站性能


網(wǎng)站訪問特點(diǎn)和現(xiàn)實(shí)世界的財(cái)富分配通常符合二八定律: 80%的業(yè)務(wù)訪問集中在20% 的數(shù)據(jù)上，淘寶買家瀏覽的商品集中在少部分成交數(shù)多、評價(jià)良好的商品上；百度搜索的關(guān)鍵詞集中在少部分熱門詞匯上，搜索出來的詞條你也會(huì)瀏覽前兩頁的內(nèi)容。
既然大部分的瀏覽都只會(huì)放在一小部分?jǐn)?shù)據(jù)上，那么是否能把這些數(shù)據(jù)緩存起來放在內(nèi)存中，是不是就可以減少數(shù)據(jù)庫的壓力，從而提高整個(gè)網(wǎng)站的數(shù)據(jù)訪問速度，改善數(shù)據(jù)庫的寫入性能了呢？


網(wǎng)站的緩存分為兩種：緩存在本地服務(wù)器上的本地緩存，緩存在遠(yuǎn)程服務(wù)器上的遠(yuǎn)程緩存，本地緩存的訪問速度要比遠(yuǎn)程緩存的更快。但是受應(yīng)用服務(wù)器的內(nèi)存限制，往往會(huì)存在本地緩存和應(yīng)用程序競爭內(nèi)存的情況，這種情況在遠(yuǎn)程服務(wù)器上就不會(huì)存在，遠(yuǎn)程分布式緩存可以使用集群的方式，部署大內(nèi)存的服務(wù)器使用專門的緩存服務(wù)器，理論上可以做到不受內(nèi)存限制的緩存服務(wù)





使用緩存后，有效的改善了數(shù)據(jù)庫訪問的壓力，但是單一應(yīng)用程序的服務(wù)器能夠處理的連接有限，在網(wǎng)站訪問的高峰期間，應(yīng)用服務(wù)器會(huì)成為網(wǎng)站的瓶頸


4. 使用應(yīng)用服務(wù)器集群改善網(wǎng)站的并發(fā)處理能力
使用集群是解決高并發(fā)，海量數(shù)據(jù)問題的關(guān)鍵手段，當(dāng)一臺服務(wù)器的處理能力、存儲空間不足的時(shí)候，不要嘗試去更換一臺存儲量更大的服務(wù)器，而是考慮集群部署，因?yàn)閷τ诖笮途W(wǎng)站而言，不管多么強(qiáng)大的服務(wù)器，都滿足不了網(wǎng)站持續(xù)增長的業(yè)務(wù)。





應(yīng)用服務(wù)器集群部署，使用負(fù)載均衡服務(wù)器做負(fù)載控制，能夠改善流量峰值對應(yīng)用服務(wù)器的壓力，避免單一服務(wù)器承擔(dān)更多的請求壓力。如果還有更多的請求，那么就在現(xiàn)有的基礎(chǔ)上增加更多的應(yīng)用服務(wù)器


5. 數(shù)據(jù)庫讀寫分離
使用緩存后，能夠改善一部分的數(shù)據(jù)庫訪問壓力，使絕大多數(shù)數(shù)據(jù)讀操作訪問不用通過數(shù)據(jù)庫就能完成，但是仍有一部分讀(緩存訪問不命中，緩存過期)和全部的寫操作都會(huì)直接訪問數(shù)據(jù)庫，在網(wǎng)站到達(dá)一定的規(guī)模后，也會(huì)增大數(shù)據(jù)庫的壓力
目前大部分主流數(shù)據(jù)庫都提供主從熱備功能，通過配置兩臺數(shù)據(jù)庫搭建主從關(guān)系，可以將一臺數(shù)據(jù)庫服務(wù)器的數(shù)據(jù)更新同步到另一臺服務(wù)器上，網(wǎng)站可以利用這一特性，實(shí)現(xiàn)數(shù)據(jù)庫的讀寫分離的功能，從而改善數(shù)據(jù)庫的壓力。





應(yīng)用在寫數(shù)據(jù)的時(shí)候，訪問主服務(wù)器，在讀數(shù)據(jù)的時(shí)候，訪問從服務(wù)器，主數(shù)據(jù)庫通過主從復(fù)制的功能將數(shù)據(jù)同步更新到從服務(wù)器，這樣當(dāng)有讀操作的時(shí)候，就會(huì)直接訪問從服務(wù)器，當(dāng)有寫操作的時(shí)候，會(huì)直接訪問主服務(wù)器，為了便于應(yīng)用程序訪問讀寫分離后的數(shù)據(jù)庫，通常在應(yīng)用服務(wù)器端使用專門的數(shù)據(jù)訪問模塊，使數(shù)據(jù)庫讀寫分離對應(yīng)用透明


6. 使用反向代理和CDN加速網(wǎng)站響應(yīng)
隨著網(wǎng)站規(guī)模不斷擴(kuò)大，用戶規(guī)模越來越大，由于國內(nèi)網(wǎng)絡(luò)情況復(fù)雜，不同地區(qū)的用戶訪問網(wǎng)站時(shí)，速度差別也極大。有研究表明，網(wǎng)站訪問延遲和用戶流失率正相關(guān)，網(wǎng)站訪問越慢，用戶的流失率越快，所以為了更好的用戶體驗(yàn)，留住用戶，網(wǎng)站需要更快的訪問速度，主要手段有使用CDN和反向代理


CDN和反向代理的基本原理都是緩存，區(qū)別在于CDN部署在網(wǎng)絡(luò)提供商的機(jī)房，使用戶在請求網(wǎng)站服務(wù)時(shí)，可以從距離自己最近的機(jī)房獲取數(shù)據(jù)；而CDN則部署在網(wǎng)站的中心機(jī)房，當(dāng)用戶請求到達(dá)中心機(jī)房后，首先訪問的服務(wù)器是反向代理服務(wù)器，如果反向代理服務(wù)器緩存著資源，就會(huì)直接返回給用戶





使用CDN的目的都是盡早返回?cái)?shù)據(jù)給用戶，一方面能夠加快訪問速度，一方面都能減輕服務(wù)器的壓力


7. 使用分布式文件系統(tǒng)和分布式數(shù)據(jù)庫系統(tǒng)
任何強(qiáng)大的單一服務(wù)器都滿足不了大型網(wǎng)站持續(xù)增長的業(yè)務(wù)需求。數(shù)據(jù)庫經(jīng)過讀寫分離后，從一臺服務(wù)器拆分成兩臺服務(wù)器，但是隨著網(wǎng)站業(yè)務(wù)的發(fā)展不能滿足業(yè)務(wù)的需求，需要使用分布式的存儲服務(wù)器，文件系統(tǒng)能夠也是一樣，需要使用分布式文件系統(tǒng)。
分布式數(shù)據(jù)庫是網(wǎng)站數(shù)據(jù)庫拆分的重要手段，只有在單表數(shù)據(jù)非常龐大的時(shí)候才使用。不到不得已時(shí)，網(wǎng)站最常用的數(shù)據(jù)庫拆分手段是業(yè)務(wù)分庫。將不同業(yè)務(wù)的數(shù)據(jù)部署在不同的服務(wù)器上。





8. 使用NoSQL和搜索引擎
隨著網(wǎng)站業(yè)務(wù)的擴(kuò)大，對數(shù)據(jù)存儲和檢索的要求也越來越高，網(wǎng)站需要采用一些非關(guān)系型數(shù)據(jù)庫技術(shù)如NoSQL和非數(shù)據(jù)庫查詢技術(shù)和搜索引擎





NoSQL和搜索引擎都是源自互聯(lián)網(wǎng)的技術(shù)手段，對可伸縮的分布式特性具有更好的支持。應(yīng)用服務(wù)器則通過一個(gè)統(tǒng)一數(shù)據(jù)訪問模塊訪問各種數(shù)據(jù)。減輕應(yīng)用程序管理諸多數(shù)據(jù)源的麻煩


9. 業(yè)務(wù)拆分
大型網(wǎng)站為了應(yīng)對日益繁雜的業(yè)務(wù)場景，通過使用分而治之的方式將整個(gè)網(wǎng)站的業(yè)務(wù)拆分成不同的產(chǎn)品線，如大型購物交易網(wǎng)站就會(huì)將首頁、商鋪、訂單、買家、賣家等拆分成不同的產(chǎn)品線，分歸不同的業(yè)務(wù)部門負(fù)責(zé)管理。
具體到技術(shù)上，也會(huì)根據(jù)產(chǎn)品線劃分產(chǎn)品，將一個(gè)產(chǎn)品拆分成不同的應(yīng)用。每個(gè)應(yīng)用獨(dú)立部署和維護(hù)，應(yīng)用之間可以通過超鏈接簡歷關(guān)系，也可以通過消息隊(duì)列進(jìn)行數(shù)據(jù)分發(fā)，當(dāng)然最多的還是通過訪問同一個(gè)數(shù)據(jù)存儲系統(tǒng)來構(gòu)成一個(gè)關(guān)聯(lián)的完整系統(tǒng)。





10. 分布式服務(wù)
隨著業(yè)務(wù)拆分越來越小，存儲系統(tǒng)越來越大，應(yīng)用系統(tǒng)的整體復(fù)雜度呈指數(shù)增長，部署越來越困難。由于所有的應(yīng)用都要和數(shù)據(jù)庫系統(tǒng)連接。在數(shù)萬臺服務(wù)器規(guī)模的網(wǎng)站中，這些連接的數(shù)目是服務(wù)器規(guī)模的平方。導(dǎo)致存數(shù)據(jù)庫連接資源不足。拒絕服務(wù)。
既然每一個(gè)應(yīng)用系統(tǒng)都需要執(zhí)行許多相同的業(yè)務(wù)操作，可以把相同的業(yè)務(wù)提取出來。由這些可服用的業(yè)務(wù)連接數(shù)據(jù)庫。提供公用業(yè)務(wù)服務(wù)。





大型網(wǎng)站演化到這里，基本上大多數(shù)的技術(shù)問題都可以解決，諸如跨數(shù)據(jù)中心的實(shí)時(shí)數(shù)據(jù)同步和具體網(wǎng)站業(yè)務(wù)相關(guān)的問題都可以通過組合改進(jìn)現(xiàn)有的技術(shù)架構(gòu)來解決。

三、大型網(wǎng)站架構(gòu)演化的價(jià)值觀

1. 大型網(wǎng)站架構(gòu)技術(shù)的核心價(jià)值是隨網(wǎng)站所需靈活應(yīng)對
大型網(wǎng)站架構(gòu)技術(shù)的核心價(jià)值不是從無到有搭建一個(gè)大型的網(wǎng)站，而是能夠伴隨小型網(wǎng)站業(yè)務(wù)的逐步發(fā)展，慢慢演化成一個(gè)大型網(wǎng)站。在這個(gè)過程中，不需要放棄什么，不需要推翻什么，技術(shù)選型都是非常重要的，所有的大公司例如FaceBook、Google、淘寶無不遵循這樣一條發(fā)展路線
2. 驅(qū)動(dòng)大型網(wǎng)站技術(shù)發(fā)展的主要力量是網(wǎng)站業(yè)務(wù)的發(fā)展
創(chuàng)新的業(yè)務(wù)發(fā)展模式對網(wǎng)站架構(gòu)提出了更高的要求，才使得創(chuàng)新的網(wǎng)站架構(gòu)得以發(fā)展成熟。是業(yè)務(wù)成就了技術(shù)，是事業(yè)成就了人。而不是相反。
四、網(wǎng)站架構(gòu)設(shè)計(jì)誤區(qū)
1. 盲目追隨大公司的解決方案
2. 為了技術(shù)而技術(shù)
3.企圖用技術(shù)解決所有問題