時(shí)間：2023-09-30 12:30:02 | 來源：網(wǎng)站運(yùn)營(yíng)
時(shí)間：2023-09-30 12:30:02 來源：網(wǎng)站運(yùn)營(yíng)
詳解大型網(wǎng)站架構(gòu)的組成：緩存雪崩本質(zhì)是一些訪問請(qǐng)求不經(jīng)過Redis而突然全部請(qǐng)求到數(shù)據(jù)庫，導(dǎo)致數(shù)據(jù)庫壓力陡增，造成壓力太大而宕機(jī)。 一般有兩種原因?qū)е拢?/blockquote>分布式緩存架構(gòu)分為兩種：
- 緩存服務(wù)崩潰或不存在備庫，某臺(tái)緩存服務(wù)器掛了。----解決方案是冗余、熱備服務(wù)器。
- 很多緩存數(shù)據(jù)都設(shè)置了相同的過期時(shí)間，導(dǎo)致緩存在某一時(shí)刻同時(shí)失效，請(qǐng)求全部轉(zhuǎn)發(fā)到DB，DB瞬時(shí)壓力過重雪崩。 -----解決方案：將緩存失效時(shí)間分散開(因過期時(shí)間)
遠(yuǎn)程通信設(shè)計(jì)需要考慮兩個(gè)元素：
- 以Jboss Cache為代表的需要更新同步的分布式緩存。Jboss Cache通常將應(yīng)用程序和緩存部署在同一臺(tái)服務(wù)器上，可快速獲取數(shù)據(jù)，但這種方式緩存數(shù)據(jù)量受限單一服務(wù)器內(nèi)存空間。
- 以memcached為代表的不互相通信的分布式緩存。Memcached采用集中式的緩存集群管理，緩存和應(yīng)用部署分離，緩存服務(wù)器之間不互相通信(提高可伸縮性)。應(yīng)用程序通過一致性Hash等路由算法選擇緩存服務(wù)器遠(yuǎn)程訪問緩存數(shù)據(jù)。
Memcached采用TCP協(xié)議，其序列化協(xié)議則是一套基于文本的自定義協(xié)議，以命令關(guān)鍵字開頭，后面是一組命令字操作數(shù)。
- 通信協(xié)議: 選擇TCP還是UDP、或者HTTP。
- 通信序列化協(xié)議: 數(shù)據(jù)傳輸?shù)膬啥?，必須使用彼此可識(shí)別的數(shù)據(jù)序列化方式才能使通信得以完成。如XML、JSON、Protobuffer等。
有好東西，一定想著大家。我是愛分享的Linux技術(shù)狂。大家記得關(guān)注我，也不要忘記點(diǎn)贊、評(píng)論、收藏。
同時(shí)也可以點(diǎn)擊 正在跳轉(zhuǎn) 我們?cè)谶@里一起學(xué)習(xí)、一起進(jìn)步，或者點(diǎn)擊 C/C++Linux服務(wù)器開發(fā)/后臺(tái)架構(gòu)師 免費(fèi)訂閱一下（每晚20點(diǎn)免費(fèi)直播學(xué)習(xí)），多一點(diǎn)知識(shí)，多一份收獲，更多一點(diǎn)工資。2. 異步操作
使用消息隊(duì)列調(diào)用異步化，可改善網(wǎng)站的擴(kuò)展性，還可以改善網(wǎng)站的性能。
- 消息隊(duì)列提高生產(chǎn)者響應(yīng)速度：寫入消息隊(duì)列后可立即返回。
- 消息隊(duì)列具有很好的削峰作用：通過異步處理、將短時(shí)間高并發(fā)產(chǎn)生的事務(wù)消息存儲(chǔ)在消息隊(duì)列中，從而削平高峰期的并發(fā)事務(wù)。
- 生成者與消費(fèi)者的解耦：可避免生成者與消費(fèi)者的強(qiáng)耦合。
- 可擴(kuò)展: 可以增加消費(fèi)者訂閱消息來完成新的業(yè)務(wù)邏輯擴(kuò)展，無需改動(dòng)原有邏輯。
- 可伸縮性: 異步消費(fèi)隊(duì)列解耦生產(chǎn)者和消費(fèi)者，消費(fèi)者之間是對(duì)等關(guān)系，可以通過合理增加消費(fèi)者提高消息處理性能。
3. 使用集群
使用負(fù)載均衡技術(shù)為一個(gè)應(yīng)用構(gòu)建一個(gè)由多臺(tái)服務(wù)器組成的服務(wù)器集群，將并發(fā)訪問請(qǐng)求分發(fā)到多臺(tái)服務(wù)器上處理，避免單一服務(wù)器因負(fù)載壓力過大而響應(yīng)緩慢，使用戶請(qǐng)求具有更好的響應(yīng)延遲特性。4. 代碼優(yōu)化
合理優(yōu)化業(yè)務(wù)代碼，可以很好地改善網(wǎng)站性能。
- 使用多線程，提高并行處理能力。
- 資源復(fù)用：要盡量減少那些開銷很大的資源的創(chuàng)建和消費(fèi)，提高響應(yīng)速度和減少資源開銷。資源復(fù)用主要兩種模式：單例(數(shù)據(jù)源、Dao等)和對(duì)象池(數(shù)據(jù)庫連接池、線程池、通信連接池等)。
- 數(shù)據(jù)結(jié)構(gòu)和算法：使用合理的數(shù)據(jù)結(jié)構(gòu)和算法有利于提高代碼性能。
- 垃圾回收: 通過程序調(diào)優(yōu)、參數(shù)調(diào)優(yōu)來提高垃圾回收性能。
5. 存儲(chǔ)優(yōu)化
- 機(jī)械鍵盤: 通過馬達(dá)驅(qū)動(dòng)頭臂帶動(dòng)磁頭到指定的磁盤位置訪問數(shù)據(jù)。數(shù)據(jù)連續(xù)訪問和隨機(jī)訪問移動(dòng)次數(shù)相差巨大，性能表現(xiàn)也比較差。
- 固態(tài)硬盤: 沒有機(jī)械裝置，存儲(chǔ)在在可記憶的硅晶體上，可以像內(nèi)存一樣快速隨機(jī)訪問。
- B+樹: 為了改善數(shù)據(jù)訪問特性，加快速度檢索速度，需要保證數(shù)據(jù)在不斷更新、插入、刪除后依然有序，傳統(tǒng)的做法采用+樹。
- LSM: 可以看作是一個(gè)N階合并樹。數(shù)據(jù)寫操作(包括插入、修改、刪除)都在內(nèi)存進(jìn)行，并且創(chuàng)建一個(gè)新記錄。（修改會(huì)記錄新的數(shù)據(jù)值，刪除會(huì)記錄一個(gè)刪除標(biāo)志），這些數(shù)據(jù)在內(nèi)存中仍然是一顆排序樹，當(dāng)數(shù)據(jù)量超過設(shè)定的內(nèi)存閾值后，會(huì)將這棵排序樹和磁盤最新的排序樹合并。當(dāng)這棵排序樹的數(shù)據(jù)量超過設(shè)定閾值后和磁盤上的下一級(jí)排序樹合并。合并過程中會(huì)使用最新更新的數(shù)據(jù)覆蓋舊的數(shù)據(jù)。在需要進(jìn)行讀操作時(shí)，總是從內(nèi)存中的排序樹開始搜索。如果沒有找到，就從磁盤上的排序樹順序查找。
- RAID
6.HDFS: 按塊(block)為基本單位存儲(chǔ)，一個(gè)塊數(shù)據(jù)三個(gè)備份。
- RAID0: 數(shù)據(jù)從內(nèi)存緩沖區(qū)寫入磁盤時(shí)，根據(jù)磁盤數(shù)量降數(shù)據(jù)分為N份，這些數(shù)據(jù)同時(shí)并發(fā)寫入N塊磁盤。
- RAID1: 將一份數(shù)據(jù)同時(shí)寫入兩塊磁盤，任何一塊損壞都不會(huì)導(dǎo)致數(shù)據(jù)丟失，具有極高的可靠性。
- RAID10: 結(jié)合RAID0和RAID1兩種方案，將所有磁盤平均分為兩份，數(shù)據(jù)同時(shí)在兩份磁盤寫入，相當(dāng)于RAID1。在每一份磁盤里面的將數(shù)據(jù)分為N/2份并行寫入N/2個(gè)磁盤中，提供性能。類似kafka的消費(fèi)組和消費(fèi)者的設(shè)計(jì)理念。
- RAID3: 將數(shù)據(jù)寫入N-1份，并發(fā)寫入N-1塊磁盤。并在第N塊磁盤記錄校驗(yàn)值用于恢復(fù)，容易導(dǎo)致第N塊磁盤損壞。
- RAID5: 和RAID3很類似，但校驗(yàn)數(shù)據(jù)是采用螺旋式寫入所有磁盤中，避免頻繁寫壞一塊磁盤。
- RAID6: 和RAID5類似，但數(shù)據(jù)只寫入N-2塊磁盤，并螺旋式地在兩塊磁盤中寫入校驗(yàn)信息。
五. 高可用架構(gòu)
5.1 高可用架構(gòu)
可用性度量:4個(gè)9網(wǎng)站不可用時(shí)間（故障時(shí)間）= 故障修復(fù)時(shí)間點(diǎn) - 故障發(fā)現(xiàn)(報(bào)告)時(shí)間點(diǎn) 網(wǎng)站年度可用指標(biāo) = (1 - 網(wǎng)站不可用時(shí)間/年度總時(shí)間) * 100%高可用架構(gòu)設(shè)計(jì)的目的就是抱著服務(wù)器硬件故障時(shí)服務(wù)器依然可用、數(shù)據(jù)依然保存并能夠被訪問。主要的手段是數(shù)據(jù)和服務(wù)的冗余備份及失效轉(zhuǎn)移。
- 2個(gè)9基本可用，不可用時(shí)間小于88小時(shí)
- 3個(gè)9較高可用，不可用時(shí)間小于9小時(shí)
- 4個(gè)9具有自動(dòng)恢復(fù)能力的高可用，不可用時(shí)間小于53分鐘。
- 5個(gè)9極高可用性，不可用時(shí)間小于5分鐘。
- 位于應(yīng)用層的服務(wù)器：通過負(fù)載均衡設(shè)備將一組服務(wù)器組成一個(gè)集群共同對(duì)外提供服務(wù)，當(dāng)負(fù)載均衡設(shè)備通過心跳檢測(cè)手段檢測(cè)應(yīng)用服務(wù)器不可用時(shí)，將將其從集群列表剔除。應(yīng)用的高可用架構(gòu)設(shè)計(jì)是基于服務(wù)的無狀態(tài)特性，所謂無狀態(tài)是服務(wù)器不保存業(yè)務(wù)的上下文信息，多個(gè)服務(wù)器之間完全對(duì)等。
- 位于服務(wù)層的服務(wù)器：通過集群實(shí)現(xiàn)高可用，通過分布式服務(wù)調(diào)用框架訪問并在客戶端程序中實(shí)現(xiàn)軟件負(fù)載均衡(如dubbo)，并通過注冊(cè)中心對(duì)提供服務(wù)的服務(wù)器進(jìn)行心跳檢測(cè)。
- 位于數(shù)據(jù)層的服務(wù)器：數(shù)據(jù)寫入時(shí)進(jìn)行數(shù)據(jù)同步復(fù)制，將數(shù)據(jù)寫入多臺(tái)實(shí)現(xiàn)冗余備份
1 高可用應(yīng)用
集群中的session管理方式：
- session復(fù)制：在集群中的幾臺(tái)服務(wù)器之間同步session對(duì)象--占用服務(wù)器和網(wǎng)絡(luò)的大量資源。
- session綁定：利用負(fù)載均衡的源地址Hash算法實(shí)現(xiàn)，將源于同一個(gè)IP請(qǐng)求分發(fā)到同一臺(tái)服務(wù)器上。----不符合高可用需求
- 利用cookie記錄Session: 將session記錄存放在客戶端，每次請(qǐng)求的時(shí)候?qū)ession發(fā)送給服務(wù)器，服務(wù)器修改完成后發(fā)給客戶端。缺點(diǎn)是：
- 受cookie大小限制
- 每次需要傳輸Cookie，影響性能
- session服務(wù)器：利用獨(dú)立部署的session服務(wù)器統(tǒng)一管理session, 解決應(yīng)用服務(wù)器的狀態(tài)分離。簡(jiǎn)單方式：分布式緩存、數(shù)據(jù)庫等。
2 高可用服務(wù)
也是基于服務(wù)的無狀態(tài)，還有幾點(diǎn)高可用服務(wù)策略：
- 分級(jí)管理：核心應(yīng)用和服務(wù)區(qū)分對(duì)待，應(yīng)用部署進(jìn)行必要隔離。
- 超時(shí)設(shè)置：如果用戶請(qǐng)求長(zhǎng)時(shí)間得不到響應(yīng)，會(huì)占用應(yīng)用程序資源，不利于及時(shí)將訪問請(qǐng)求轉(zhuǎn)移到正常服務(wù)器上。
- 異步調(diào)用：通過消息隊(duì)列異步方式完成，避免一個(gè)服務(wù)失敗導(dǎo)致整個(gè)應(yīng)用請(qǐng)求失敗的情況。
- 服務(wù)降級(jí)：拒絕服務(wù)(拒絕低優(yōu)先級(jí)應(yīng)用的調(diào)用，減少服務(wù)并發(fā)數(shù))和關(guān)閉功能(關(guān)閉不重要的功能，節(jié)約系統(tǒng)開銷)。
- 冪等性控制：保證服務(wù)重復(fù)調(diào)用和調(diào)用一次產(chǎn)生的結(jié)果相同。
3 高可用數(shù)據(jù)
高可用數(shù)據(jù)有以下幾個(gè)層面的含義：保證數(shù)據(jù)存儲(chǔ)的高可用手段主要有數(shù)據(jù)備份和失效轉(zhuǎn)移機(jī)制。
- 數(shù)據(jù)持久性：保證數(shù)據(jù)可持久存儲(chǔ)，在各種情況下都不會(huì)出現(xiàn)數(shù)據(jù)丟失的問題。
- 數(shù)據(jù)可訪問性：在多份數(shù)據(jù)副本分別存放在不同存儲(chǔ)設(shè)備的情況下，如果一個(gè)數(shù)據(jù)存儲(chǔ)設(shè)備損壞，就需要將數(shù)據(jù)訪問切換到另一個(gè)數(shù)據(jù)存儲(chǔ)設(shè)備上。
- 數(shù)據(jù)一致性：多個(gè)副本數(shù)據(jù)保持一致。
CAP原理：系統(tǒng)無法同時(shí)滿足數(shù)據(jù)一致性（Consistency）、數(shù)據(jù)可用性(Availability)和分區(qū)耐受性(Partition Tolerance，系統(tǒng)具有跨網(wǎng)絡(luò)分區(qū)的伸縮性)
- 數(shù)據(jù)備份分為冷備份（定期備份）和熱備份（主從復(fù)制），數(shù)據(jù)熱備的方式存在兩種異步備份方式和同步備份方式：
- 異步備份：寫入一份數(shù)據(jù)后，系統(tǒng)將異步向其他副本寫入數(shù)據(jù)。
- 同步備份：多份數(shù)據(jù)副本的寫入操作同步完成，為了提供性能應(yīng)用程序客戶端并發(fā)向多個(gè)存儲(chǔ)服務(wù)同時(shí)寫入數(shù)據(jù)，然后等待所有存儲(chǔ)服務(wù)器都返回操作成功的響應(yīng)后，在通知應(yīng)用程序?qū)懖僮鞒晒Α?/li>
- 失效轉(zhuǎn)移操作由三個(gè)部分組成：
- 失效確認(rèn)：系統(tǒng)確認(rèn)一臺(tái)服務(wù)器是否宕機(jī)，常用手段有心跳檢測(cè)和應(yīng)用程序失敗報(bào)告
- 訪問轉(zhuǎn)移：確認(rèn)某臺(tái)數(shù)據(jù)存儲(chǔ)服務(wù)器宕機(jī)后，需要將數(shù)據(jù)讀寫訪問重新路由到其他服務(wù)器上。
- 數(shù)據(jù)恢復(fù)：將宕機(jī)服務(wù)器進(jìn)行恢復(fù)，需要從健康服務(wù)器復(fù)制數(shù)據(jù)，將數(shù)據(jù)副本恢復(fù)到設(shè)定值。
數(shù)據(jù)一致性分為如下幾點(diǎn)：
- 數(shù)據(jù)強(qiáng)一致：各個(gè)副本數(shù)據(jù)在物理上總是保持一致。
- 數(shù)據(jù)用戶一致：各個(gè)副本可能不一致，但終端用戶訪問時(shí)通過糾錯(cuò)和校驗(yàn)機(jī)制，確定一個(gè)一致的且正確的數(shù)據(jù)返回給用戶。
- 數(shù)據(jù)最終一致：各副本不一致，通過系統(tǒng)一段時(shí)間的自我修復(fù)和修正，數(shù)據(jù)最終會(huì)打到一致。
5.2 軟件質(zhì)量保證
網(wǎng)站發(fā)布
- 網(wǎng)站發(fā)布
- 自動(dòng)化測(cè)試
- 預(yù)發(fā)布驗(yàn)證：預(yù)發(fā)布服務(wù)器是一種特殊的服務(wù)器，它和線上的正式服務(wù)器唯一的不同就是沒有配置在負(fù)載均衡服務(wù)器上，外部用戶無法訪問。
- 代碼控制：主干開發(fā)分支發(fā)布和分支開發(fā)主干發(fā)布。
- 自動(dòng)化發(fā)布：采用火車模型，將每個(gè)應(yīng)用的發(fā)布過程看做一次火車旅程，火車定點(diǎn)運(yùn)行，期間有若干站點(diǎn)，每一站都進(jìn)行例行檢查，不通過的項(xiàng)目下車，剩下的項(xiàng)目繼續(xù)坐火車旅行，直到終點(diǎn)。
- 灰度發(fā)布：將集群分為若干部分，每天只發(fā)布一部分服務(wù)器，觀察運(yùn)行穩(wěn)定沒有故障，第二天繼續(xù)發(fā)布一部分服務(wù)器，如果有問題則回滾。
運(yùn)行監(jiān)控
- 日志采集
- 用戶行為日志
- 服務(wù)器端日志收集
- 客戶端瀏覽器日志收集
- 服務(wù)器性能監(jiān)控
- 運(yùn)行數(shù)據(jù)報(bào)告
監(jiān)控管理
- 系統(tǒng)報(bào)警
- 失效轉(zhuǎn)移：
- 自動(dòng)優(yōu)雅降級(jí)：主動(dòng)關(guān)閉部分功能，釋放部分系統(tǒng)資源，保證網(wǎng)站核心功能正常訪問的一個(gè)手段。
六. 網(wǎng)站的伸縮性架構(gòu)
所謂的伸縮性是指不需要改變網(wǎng)站的軟硬件設(shè)計(jì)，僅僅通過改變部署的服務(wù)器數(shù)量就可以擴(kuò)大或縮小網(wǎng)站的服務(wù)處理能力。
網(wǎng)站伸縮性設(shè)計(jì)可分為兩類：
- 根據(jù)功能進(jìn)行物理分離實(shí)現(xiàn)伸縮----分布式
- 縱向分離(分層)：將業(yè)務(wù)處理流程上不同的部分分離部署，實(shí)現(xiàn)系統(tǒng)伸縮性。
- 橫向分離: 將不同業(yè)務(wù)模塊分離部署，實(shí)現(xiàn)系統(tǒng)伸縮性。
- 單一功能通過集群實(shí)現(xiàn)伸縮---集群
- 將相同服務(wù)部署在多臺(tái)服務(wù)器上構(gòu)成一個(gè)集群整體對(duì)外提供服務(wù)。
1. 應(yīng)用服務(wù)器集群的伸縮性設(shè)計(jì)
應(yīng)用服務(wù)器應(yīng)該設(shè)置為無狀態(tài)，任何一臺(tái)服務(wù)器的處理結(jié)果都是相同的。這樣用戶請(qǐng)求按照某種規(guī)則分發(fā)到集群的不同服務(wù)器上，可構(gòu)成一個(gè)應(yīng)用服務(wù)器集群。常用的負(fù)載均衡設(shè)備有：負(fù)載均衡算法：
- Http 重定向負(fù)載均衡：根據(jù)用戶的HTTP請(qǐng)求計(jì)算一臺(tái)真實(shí)的Web服務(wù)器地址，并將該Web服務(wù)器地址寫入HTTP重定向響應(yīng)中(響應(yīng)302)返回瀏覽器，瀏覽器重新發(fā)起請(qǐng)求到實(shí)際物理服務(wù)器。
- 缺點(diǎn)：
- 瀏覽器需要兩次請(qǐng)求服務(wù)器才能完成一次訪問，性能較差。
- 重定向服務(wù)器自身的處理能力有可能成為瓶頸，整個(gè)集群伸縮性有限。
- DNS域名解析負(fù)載均衡：每次根據(jù)負(fù)載均衡算法計(jì)算一個(gè)不同的IP地址返回給瀏覽器，瀏覽器根據(jù)這個(gè)IP地址訪問真實(shí)物理地址。
- 優(yōu)點(diǎn)：
- 將負(fù)載均衡工作交給DNS，省掉了網(wǎng)站管理維護(hù)負(fù)載均衡服務(wù)器的麻煩。
- 同時(shí)還支持基于地理位置的域名解析，即將域名解析成距離用戶地理最近的一個(gè)服務(wù)器地址，這樣可以加快用戶訪問速度，改善性能。
- 缺點(diǎn)：采用多級(jí)解析，域名解析更新后不能立即生效，到時(shí)用戶訪問失敗
- 反向代理負(fù)載均衡: 方向代理服務(wù)器處于web服務(wù)器前面，瀏覽器請(qǐng)求的地址是方向代理服務(wù)器的地址，方向代理收到請(qǐng)求后，根據(jù)負(fù)載均衡算法計(jì)算到一臺(tái)真實(shí)物理服務(wù)器地址。
- 缺點(diǎn)：反向代理服務(wù)器是所有請(qǐng)求和響應(yīng)的中轉(zhuǎn)站，其性能可能會(huì)成為瓶頸。
- IP負(fù)載均衡：用戶請(qǐng)求包到達(dá)負(fù)載均衡服務(wù)器后，獲取網(wǎng)絡(luò)數(shù)據(jù)包，根據(jù)負(fù)載均衡算法計(jì)算得到一臺(tái)真實(shí)WEB服務(wù)區(qū)地址，然后將數(shù)據(jù)局目的IP修改為該地址。響應(yīng)地址到達(dá)負(fù)載均衡服務(wù)器后，負(fù)載均衡服務(wù)器再將數(shù)據(jù)包源地址修改為自身的IP地址。
- 數(shù)據(jù)鏈路層均衡負(fù)載: 數(shù)據(jù)鏈路層負(fù)載均衡是在通訊協(xié)議的數(shù)據(jù)鏈路層修改mac地址進(jìn)行負(fù)載均衡。這種傳輸方式成為三角傳輸模式，只修改mac地址，不修改數(shù)據(jù)包的原地址和目的地址而達(dá)到轉(zhuǎn)發(fā)目的。目前大型網(wǎng)站使用的比較多，最好的開源產(chǎn)品是LVS(Linux Virtual Server)
- 輪詢(Round Robin, RR)
- 加權(quán)輪詢(Weighted Round Robin, WRR): 按照配置的權(quán)重將請(qǐng)求分發(fā)到每個(gè)服務(wù)器。
- 隨機(jī)(Random): 也可以使用加權(quán)隨機(jī)算法。
- 最少連接(Least Connections): 記錄每個(gè)應(yīng)用服務(wù)器正在處理的連接數(shù)，將新到的請(qǐng)求分發(fā)到最少連接的服務(wù)器上。
- 源地址散列: 根據(jù)請(qǐng)求來源的IP地址進(jìn)行Hash計(jì)算，得到應(yīng)用服務(wù)器，這樣來自同一個(gè)IP地址的請(qǐng)求總在同一個(gè)服務(wù)器上處理。
- 一致性Hash算法
2. 分布式緩存集群的伸縮性設(shè)計(jì)
和應(yīng)用服務(wù)器集群不同，分布式緩存服務(wù)器集群中不同服務(wù)器緩存的數(shù)據(jù)各不相同，是不對(duì)等的，緩存訪問請(qǐng)求不可以在緩存服務(wù)器集群中的任意一臺(tái)處理，必須找到緩存有需要數(shù)據(jù)的服務(wù)器，才能訪問。這個(gè)特點(diǎn)嚴(yán)重制約了分布式緩存集群的伸縮性設(shè)計(jì)。
分布式緩存集群伸縮性設(shè)計(jì)的最主要目標(biāo)：新上線的緩存服務(wù)器對(duì)真?zhèn)€分布式緩存集群影響最小，即新加入緩存服務(wù)器后應(yīng)使得整個(gè)服務(wù)器集群已經(jīng)緩存的數(shù)據(jù)盡可能被訪問到。
- Mecheched采用一致性hash算法
- Redis采用reshard和rebalance
3. 數(shù)據(jù)存儲(chǔ)服務(wù)器集群的伸縮性設(shè)計(jì)
關(guān)系數(shù)據(jù)庫可以使用伸縮性主要有兩種：Cobar伸縮性：
- 主從讀寫分離
- 數(shù)據(jù)庫分庫：將不同業(yè)務(wù)數(shù)據(jù)庫表部署在不同的數(shù)據(jù)庫集群上，可以使用分布式關(guān)系數(shù)據(jù)庫訪問代理Cobar
NoSql集群放棄了關(guān)系數(shù)據(jù)庫以關(guān)系代數(shù)為基礎(chǔ)的結(jié)構(gòu)化查詢語言(SQL)和事務(wù)一致性保證(ACID),強(qiáng)化了高可用性和可伸縮性。
- Cobar服務(wù)器集群的伸縮性：因?yàn)镃obar是無狀態(tài)的應(yīng)用服務(wù)器，因此可以使用集群伸縮來實(shí)現(xiàn)負(fù)載均衡。
- MySql服務(wù)器集群的伸縮：采用一致性Hash進(jìn)行數(shù)據(jù)遷移，遷移是以schema為單位
七.網(wǎng)站的可擴(kuò)展性架構(gòu)
擴(kuò)展性是一種開發(fā)封閉的設(shè)計(jì)原則，指對(duì)現(xiàn)有系統(tǒng)影響最小的情況下，系統(tǒng)功能可持續(xù)擴(kuò)展或提升的能力。
構(gòu)造可擴(kuò)展的網(wǎng)站架構(gòu)有兩種方式:
- 基于事件驅(qū)動(dòng)架構(gòu)----利用分布式消息隊(duì)列降低耦合性
- 基于分布集群架構(gòu)----水平拆分和縱向拆分
很多功能集中在一個(gè)模塊中的問題：
- 縱向拆分：將一個(gè)大應(yīng)用拆分為多個(gè)小應(yīng)用，各應(yīng)用相對(duì)獨(dú)立
- 橫向拆分: 將復(fù)用的業(yè)務(wù)拆處理啊，獨(dú)立部署為分布式服務(wù)。
分布式服務(wù)框架還需支持如下特性：
- 編譯、部署困難----慢
- 代碼分支管理困難----多人開發(fā)、沖突多
- 數(shù)據(jù)庫連接耗盡
- 新增業(yè)務(wù)困難---修改一行對(duì)其他影響都很大
- 負(fù)載均衡
- 失效轉(zhuǎn)移
- 高效的遠(yuǎn)程通信
- 整合異構(gòu)系統(tǒng)
- 對(duì)應(yīng)用最小侵入
- 版本管理
- 實(shí)時(shí)監(jiān)控
八. 網(wǎng)站的安全架構(gòu)
常見攻擊手段：防御手段：
- XSS攻擊：跨站點(diǎn)腳本攻擊，通過篡改頁面，注入惡意HTML腳本，在用戶瀏覽器頁面時(shí)，控制用戶瀏覽器進(jìn)行惡意操作的一種攻擊方式。
- 注入攻擊：如SQL注入和OS注入攻擊
- CSRF：跨站點(diǎn)請(qǐng)求偽造，攻擊者通過跨站請(qǐng)求，以合法用戶身份進(jìn)行非法操作。其核心是利用瀏覽器Cookie或服務(wù)器Session策略盜取用戶身份。
- 其他攻擊和漏洞
- Error Code: 錯(cuò)誤回顯，應(yīng)該避免
- HTML注釋
- 文件上傳：設(shè)置上傳文件白名單，只允許上傳可靠的文件類型。
- 路徑遍歷：利用請(qǐng)求的URL中使用相對(duì)路徑，遍歷系統(tǒng)未開放的目錄和文件。
有好東西，一定想著大家。我是愛分享的Linux技術(shù)狂。大家記得關(guān)注我，也不要忘記點(diǎn)贊、評(píng)論、收藏。
- 信息加密和密鑰安全管理
- 單向散列加密: 通過對(duì)不同輸入長(zhǎng)度的信息進(jìn)行散列計(jì)算，得到固定長(zhǎng)度的輸出，這個(gè)散列計(jì)算過程是單向的，即不能對(duì)固定長(zhǎng)度的輸出進(jìn)行計(jì)算從而獲得輸入信息。---可以用于密碼保護(hù)，密碼校驗(yàn)等。常用的有MD5、SHA等。
- 對(duì)稱加密：加密和解密使用的秘鑰是同一個(gè)秘鑰。---通常用在信息需要安全交換或存儲(chǔ)的場(chǎng)合。
- 優(yōu)點(diǎn)：算法簡(jiǎn)單、加密效率高，系統(tǒng)開銷小。
- 缺點(diǎn)：如果秘鑰丟失，信息不安全。
- 非對(duì)稱加密：
- 使用不同的秘鑰不是同一個(gè)秘鑰，其中對(duì)外公布的稱為公鑰，只有所有知道的稱為秘鑰。用公鑰加密的信息必須用私鑰才能解開，反之用私鑰加密的信息只有公鑰才能解開。常見的算法是RSA。
- 密鑰安全
- 把密鑰和算法放在一個(gè)獨(dú)立的服務(wù)器上，甚至做成一個(gè)專用的硬件設(shè)施。
- 將加密算法放在應(yīng)用系統(tǒng)中，密鑰則放在獨(dú)立服務(wù)器中，提高密鑰的安全性。
- 信息過濾和反垃圾
- 文本匹配
- 分類算法
- 黑名單
- 風(fēng)險(xiǎn)控制
- 風(fēng)險(xiǎn)
- 賬戶風(fēng)險(xiǎn)：包括賬戶被黑客盜用，惡意注冊(cè)賬號(hào)等情景
- 買家風(fēng)險(xiǎn)：買家惡意下單占用庫存進(jìn)行不正當(dāng)競(jìng)爭(zhēng)。
- 賣家風(fēng)險(xiǎn)：不良賣家進(jìn)行惡意欺詐行為
- 交易風(fēng)險(xiǎn)：信用卡盜刷，支付欺詐，洗錢。
- 風(fēng)控
- 規(guī)則引擎
- 統(tǒng)計(jì)模型
同時(shí)也可以點(diǎn)擊 正在跳轉(zhuǎn) 我們?cè)谶@里一起學(xué)習(xí)、一起進(jìn)步，或者點(diǎn)擊 C/C++Linux服務(wù)器開發(fā)/后臺(tái)架構(gòu)師 免費(fèi)訂閱一下（每晚20點(diǎn)免費(fèi)直播學(xué)習(xí)），多一點(diǎn)知識(shí)，多一份收獲，更多一點(diǎn)工資。
關(guān)鍵詞：組成,大型
客戶&案例
營(yíng)銷資訊
關(guān)于我們
客戶&案例
營(yíng)銷資訊
關(guān)于我們
微信公眾號(hào)
版權(quán)所有? 億企邦 1997-2025 保留一切法律許可權(quán)利。
在線咨詢