一個(gè)大型網(wǎng)站需要多少服務(wù)器？

時(shí)間：2023-11-16 21:12:01 | 來(lái)源：網(wǎng)站運(yùn)營(yíng)

時(shí)間：2023-11-16 21:12:01 來(lái)源：網(wǎng)站運(yùn)營(yíng)

一個(gè)大型網(wǎng)站需要多少服務(wù)器？：我來(lái)分享社區(qū)型網(wǎng)站的大概服務(wù)器需求吧。

不知道各位開(kāi)發(fā)者聽(tīng)沒(méi)聽(tīng)說(shuō)過(guò)掘金, 我2016-2019年在掘金擔(dān)任技術(shù)總監(jiān)(現(xiàn)已離職), 從0開(kāi)始設(shè)計(jì)了掘金現(xiàn)有的整體架構(gòu) (包括軟件架構(gòu)和硬件基礎(chǔ)設(shè)施, 所有開(kāi)發(fā)和技術(shù)相關(guān)的業(yè)務(wù)均由我負(fù)責(zé)).

掘金到目前為止(2019-09-06), Alexa 全中國(guó)排名為626 (曾經(jīng)最好成績(jī)?cè)?30左右. 作為對(duì)比segmentfault是101, OSChina是154), similarweb 全中國(guó)排名為399 (作為對(duì)比segmentfault是329, OSChina是314). 不知道這樣的成績(jī)能不能算是"大型網(wǎng)站".

就業(yè)務(wù)類型來(lái)講，社區(qū)業(yè)務(wù)本身的復(fù)雜性更多是產(chǎn)品功能之間的依賴造成的邏輯復(fù)雜。比如你給別人點(diǎn)個(gè)贊這個(gè)數(shù)字要反映到被點(diǎn)贊的文章上，還要給被點(diǎn)贊的作者發(fā)送通知，還要把點(diǎn)贊這個(gè)動(dòng)作顯示到你的timeline上，還要讓關(guān)注你的人讀取到你的這個(gè)動(dòng)態(tài)等等。但說(shuō)到底只不過(guò)是web業(yè)務(wù)而已。因此CPU，內(nèi)存，磁盤(pán)等資源的使用密度都不算特別顯著。

線上

我們先定義這個(gè)服務(wù)器是"一個(gè)運(yùn)行操作系統(tǒng)的實(shí)體"吧. 畢竟現(xiàn)在全是虛擬化, 不太好計(jì)算到底用了多少物理服務(wù)器.

因?yàn)槿莣eb業(yè)務(wù), 所以相對(duì)來(lái)說(shuō)掘金不是很復(fù)雜.


web端 是由 3 個(gè) 8core16G 的云服務(wù)器組成. 前面接了4個(gè)負(fù)載均衡每個(gè)負(fù)載均衡綁定了一褲兜IP用來(lái)應(yīng)對(duì)DDoS.

微服務(wù)層 由4個(gè) 16core32G 的云服務(wù)器組成. 同樣, 前面也有4個(gè)負(fù)載均衡.

cronjob(定時(shí)任務(wù)) 2 個(gè) 4core 8g云服務(wù)器.

數(shù)據(jù)庫(kù) 2個(gè)MySQL實(shí)例(4機(jī)), 5個(gè)MongoDB實(shí)例(總計(jì)20機(jī)), 14個(gè)Redis實(shí)例(14機(jī)).

中間件 zookeeper(6機(jī)), kafka(6機(jī)), ELK(3機(jī)).

大數(shù)據(jù) CDH全家桶(10機(jī))

雜項(xiàng) 認(rèn)證服務(wù)器, DNS, 冷備份等(6機(jī))

以上就是承載在線業(yè)務(wù)的所有機(jī)器了, 不包含負(fù)載均衡等直接提供服務(wù)的云服務(wù)商實(shí)例, 總計(jì)78個(gè)實(shí)例.

如果極限壓縮的話, 比如數(shù)據(jù)庫(kù)不弄的那么復(fù)雜, 盡可能復(fù)用實(shí)例, 砍掉大數(shù)據(jù)等供運(yùn)營(yíng)的組件, 估計(jì)40以內(nèi)實(shí)例就能完成一個(gè)這樣的網(wǎng)站.

也就是說(shuō), 實(shí)現(xiàn)一個(gè)在中國(guó)排名500左右(世界大概3000排名左右)的社區(qū)網(wǎng)站, 40臺(tái)服務(wù)器差不多可以完成了(當(dāng)然其他業(yè)務(wù)類型可能會(huì)更多也可能會(huì)少一些, 不過(guò)一個(gè)社區(qū)類型的網(wǎng)站, 應(yīng)該大家都差不多).

線下

但, 這只是冰山的一部分, 我們還有測(cè)試環(huán)境和日常供工程師使用的本地機(jī)房服務(wù)器等:

線下CDH全家桶 14 實(shí)例

開(kāi)發(fā)用服務(wù)器 6 實(shí)例

代碼托管, CI,CD 6 實(shí)例

容器環(huán)境 16 實(shí)例

CEPH 6 實(shí)例

數(shù)據(jù)冷備 3 實(shí)例

雜項(xiàng) 6 實(shí)例

總計(jì) 57 實(shí)例.

即最終掘金在用的服務(wù)器是 135 實(shí)例. 按照 4 實(shí)例一臺(tái)物理機(jī)去計(jì)算，物理服務(wù)器應(yīng)該在 34 臺(tái)服務(wù)器左右(2個(gè)機(jī)柜就全裝下了).

一些有意思的事情

由于我在這方面比較有經(jīng)驗(yàn), 所以從省錢(qián)的角度, 我們的本地服務(wù)器都是二手服務(wù)器。







是的你沒(méi)看錯(cuò), 都是淘寶貨【手動(dòng)滑稽】甚至有一臺(tái)服務(wù)器還是百度下架的。

感謝這些行業(yè)龍頭淘汰的服務(wù)器, 對(duì)于一個(gè)初創(chuàng)公司, 能買(mǎi)到廉價(jià)的設(shè)備來(lái)節(jié)省資金實(shí)在是一件幸事。當(dāng)然, 有一個(gè)好老板的支持也很重要. 我們?cè)诓少?gòu)服務(wù)器這一件事情上就能節(jié)約接近30萬(wàn).

(google在剛開(kāi)始成立的時(shí)候, 也是靠著一大堆二手設(shè)備來(lái)提供服務(wù)的).




有的朋友可能會(huì)擔(dān)心用二手服務(wù)器會(huì)不會(huì)出問(wèn)題？這的確是個(gè)隱患，所以我們只在本地使用。線上仍然是直接用云服務(wù)。

熟悉我的朋友可能知道，我家里的機(jī)器數(shù)量其實(shí)比我公司的還要多。所以經(jīng)驗(yàn)方面對(duì)我來(lái)說(shuō)不是問(wèn)題。哈哈。





以上就是我在掘金的實(shí)踐經(jīng)驗(yàn)了。

其他

搜索業(yè)務(wù)還是十分吃資源的，我在360搜索的時(shí)候, 僅僅用來(lái)展示搜索結(jié)果的web機(jī)，就達(dá)到了5機(jī)房每機(jī)房12機(jī)。一二級(jí)引擎機(jī)器的數(shù)量都在幾千臺(tái)以上。

直播業(yè)務(wù)的就會(huì)少一些了，更多是在CDN費(fèi)用上會(huì)更貴。本身的業(yè)務(wù)不怎么吃機(jī)器。以PandaTV舉例，在我離開(kāi)的時(shí)候(2016年下旬)，估計(jì)機(jī)器應(yīng)該在1000臺(tái)之內(nèi)。我負(fù)責(zé)的數(shù)據(jù)業(yè)務(wù)實(shí)際上也就一套大一點(diǎn)的CDH全家桶，不到20臺(tái)機(jī)器，以及一些平時(shí)用的業(yè)務(wù)機(jī)器，也是20臺(tái)左右。

以上。