linux運維實戰(zhàn)：K掉口碑 歡迎百度

時間：2023-01-29 22:32:02 | 來源：電子商務

時間：2023-01-29 22:32:02 來源：電子商務

相信很多有經(jīng)驗的站長和我一樣，每天觀察流量統(tǒng)計，同樣，今天也不例外。早上上班后就發(fā)現(xiàn)今天流量PV(點擊量)有點低，但是IP并沒低多少，當時也沒在意，因為周三流量通常比周二要低一點。筆者網(wǎng)站使用的是linux環(huán)境，晚上的時候就發(fā)現(xiàn)網(wǎng)站速度比較慢，因為剛剛把服務器換到電信A類機房，所以速度還是有點信心的。于是使用top命令檢查負載，發(fā)現(xiàn)負載超過40，一般負載超過10速度就會慢下來按照往常的經(jīng)驗，who,ps等命令檢查鏈接和進程，接著使用netstat -a -n檢查訪問請求，發(fā)現(xiàn)119.42.245.*有幾個IP異常(后面會提到如何判斷異常IP)，鏈接IP138檢查IP來源，發(fā)現(xiàn)是阿里巴巴的(汗一下''阿里的IP段都是寫的公司名稱)。

筆者網(wǎng)站必夠網(wǎng)是老牌的分類信息網(wǎng)站，而阿里旗下的口碑網(wǎng)是國內(nèi)最大的分類信息站，百度收錄量1400萬，而趕集、58、百姓、必夠網(wǎng)收錄都在一千萬以內(nèi)(看來"業(yè)精于勤"啊，再汗一把)。立即，使用iptables -I INPUT -s 119.42.245.0/16 -j DROP 命令封掉IP段，ok,一切搞定，負載逐步降低到5以下。

接下來的時間繼續(xù)做功課，分析當日流量，刪除垃圾信息(很重要，筆者以前曾經(jīng)寫過分類信息站淘汰法則—被垃圾、違法信息淹死?推薦大家看看)以及構(gòu)思產(chǎn)品的改進策略。過了一會有檢查了一下負載，發(fā)現(xiàn)又上升到7了，于是依葫蘆畫瓢，又一個IP段出現(xiàn)我我視野61.135.249.*，這個IP段有點熟悉，似乎是搜索引擎爬蟲，于是每2分鐘netstat -a -n一下，COPY到ultraedit編輯器里，取3次記錄，然后總結(jié)，發(fā)現(xiàn)這個IP段出現(xiàn)的次數(shù)都在35~40之間(百度爬蟲的頻率一般是37，不知道有站長研究過沒)，百度爬蟲有61.135開頭的爬蟲段。

訪問下網(wǎng)站，發(fā)現(xiàn)速度正常，看來專業(yè)爬蟲的技術(shù)就是好，不會把人弄宕機。另補充說明下如何判斷異常IP：

看IP段 ，一些爬蟲會自動換IP，防止被封。所以要看IP段出現(xiàn)的頻率。不能確定的話可以隔段時間再看?？碔P地址，一般國外IP我都是直接封IP看抓取頻率，搜索引擎的爬蟲抓取頻率會很合適，絕對不會長時間以超過你網(wǎng)站承受能力的頻率抓。

OK，時間晚了，明早還要跑步，祝福各位站長身體事業(yè)兩不誤。