如何查看服務(wù)器日志進(jìn)行網(wǎng)站分析

時(shí)間：2022-05-29 04:36:02 | 來源：網(wǎng)絡(luò)營銷

時(shí)間：2022-05-29 04:36:02 來源：網(wǎng)絡(luò)營銷

對于服務(wù)器日志的分析并不容易進(jìn)行，初學(xué)者，以及在絕大多數(shù)情況下，進(jìn)行以用戶行為分析為核心的網(wǎng)站分析，都是用不到服務(wù)器日志的，而是通過流量統(tǒng)計(jì)工具，不過，作為網(wǎng)站分析歷史不可分割的一部分以及重要的基礎(chǔ)篇章，服務(wù)器日志法仍然值得一學(xué)的。

真正意義上的網(wǎng)站分析是從服務(wù)器日志開始的，而且直到今天，分析服務(wù)器（也稱為server log file，或簡稱log file）日志仍然是網(wǎng)站分析的重要方法。

1、服務(wù)器日志是什么？

這里的服務(wù)器指的是網(wǎng)站服務(wù)器（Web Server），而服務(wù)器日志跟飛機(jī)的黑匣子一樣，是用來記錄網(wǎng)站服務(wù)器的運(yùn)行信息的，或者簡單說，是用來記錄服務(wù)器中的什么頁面在什么時(shí)候被誰訪問了。

簡單的來說，服務(wù)器日志是記錄web服務(wù)器接收處理請求以及運(yùn)行時(shí)錯誤等各種原始信息的以.log結(jié)尾的文件。

網(wǎng)站日志最大的意義是記錄網(wǎng)站運(yùn)營中比如空間的運(yùn)營情況，被訪問請求的記錄，通過網(wǎng)站日志可以清楚的得知用戶在什么IP？什么時(shí)間？用什么操作系統(tǒng)？什么瀏覽器？什么分辨率顯示器的情況下訪問了你網(wǎng)站的哪個頁面？是否訪問成功？

例如，如果你訪問一次我的網(wǎng)站：http://www.mahaixiang.cn，那么一般情況下，網(wǎng)站服務(wù)器的日志就會記錄在某時(shí)某刻來自某個IP的訪問者索引了網(wǎng)頁“/index.php”，當(dāng)然，網(wǎng)站服務(wù)器日志還會記錄其他許多內(nèi)容，這些內(nèi)容能夠幫助我們分析網(wǎng)站的流量和訪問者在網(wǎng)站上的行為。

網(wǎng)站分析就是從網(wǎng)站服務(wù)器日志開始的，或者更準(zhǔn)確的說，網(wǎng)站服務(wù)器日志自誕生之日起，就是為網(wǎng)站分析所用的。

最早，人們可是把所有的記錄都拿出來，然后導(dǎo)入到數(shù)據(jù)軟件中去進(jìn)行分析，辛苦程度自不用說；但這個痛苦的階段不會持續(xù)太久，哪兒有痛苦，哪兒就有生意，所以網(wǎng)站日志分析軟件就出現(xiàn)了，解決了很大的問題，以至于大小互聯(lián)網(wǎng)服務(wù)提供商（ISP）們都為租用他們空間的用戶提供一款免費(fèi)的網(wǎng)站日志分析軟件。

盡管如此，億企邦覺得分析網(wǎng)站日志一直都是一個相當(dāng)不容易的事情，所以，人們不得不尋找一些更便利的方法，這樣便發(fā)明了網(wǎng)站分析的新的數(shù)據(jù)獲取方法，這是后話了。

2、服務(wù)器日志是如何產(chǎn)生的？

上面這個圖說明了網(wǎng)站服務(wù)器日志是如何產(chǎn)生的，當(dāng)用戶訪問一個網(wǎng)站的時(shí)候，事實(shí)上是訪問這個網(wǎng)站的某一個具體的頁面，我們假設(shè)這個頁面叫Page1，這時(shí)，我們的這個訪問行為會請求服務(wù)器中Page1的實(shí)際的文件，隨之把這個文件下載到瀏覽器上，由于請求和下載行為都會引起服務(wù)器的響應(yīng)和相應(yīng)的行動，因此就有必要記錄下服務(wù)器的這些行動。

你會問，為什么需要記錄服務(wù)器的行動呢？原因很簡單，因?yàn)槲覀儾幌胱屵@個服務(wù)器變成“哈爾9000”啊（哈爾9000是庫布里克《2001太空奧德賽》里面有了自我意識的電腦，它直接威脅到了電影中的宇航員）！當(dāng)然，這也只是個玩笑。

不過，其目的并無差別，就是能夠通過服務(wù)器日志，對服務(wù)器的運(yùn)行歷史進(jìn)行記錄，這樣當(dāng)有任何異常情況發(fā)生的時(shí)候，我們都能夠通過日志探尋問題發(fā)生的原因，跟記錄飛機(jī)運(yùn)行狀態(tài)的黑匣子的作用十分類似。

3、服務(wù)器日志包含的信息

原理看起來并不復(fù)雜，不過log file實(shí)際上并不簡單，為了讓log file具有可讀性，log file并不可以按照各個網(wǎng)站所有者的喜好隨意記錄的，而是有自己的規(guī)范，W3C組織定義了server log file的通用格式，而其他一些組織或者個人又根據(jù)自己的需要額外擴(kuò)展了這個格式，使log file能夠比較全面地記錄網(wǎng)站服務(wù)器進(jìn)行的各種活動。

一條標(biāo)準(zhǔn)的web server log記錄通常包含如下信息：

①、遠(yuǎn)程主機(jī)（Remote Host）的IP地址/名字

②、登錄名（Log Name）和登錄全名（Full Name）

③、請求發(fā)生的日期（Date）

④、請求發(fā)生的時(shí)間（Time）

⑤、和標(biāo)準(zhǔn)格林威治時(shí)間的差值（GMT Offset）

⑥、請求的方法（Request Method）

⑦、請求的文件的地址（File）

⑧、請求遵守的協(xié)議（Protocol）

⑨、請求的狀態(tài)（Status）

⑩、被請求文檔的長度（Length）

4、如何分析查看服務(wù)器日志文件？

下面是一條標(biāo)準(zhǔn)的log file記錄：

202.71.113.38 – - [03/Jan/2014:01:56:12 +0800] "GET /http://www.mahaixiang.cn/SEO/index.html HTTP/1.0" 200 5122

億企邦注解分析：

從左到右，202.71.113.38就是遠(yuǎn)程主機(jī)的IP；而登錄名和登錄全名指的是發(fā)起這個請求的用戶的名字，這個一般大家是不想要透露的了，所以遠(yuǎn)程主機(jī)會禁止給出這兩個信息，log file當(dāng)然就記錄不下來了，用兩個短中劃線代替。

然后，03/Jan/2014是請求發(fā)生的日期，01:56:12則是具體時(shí)間，之后的+0800是指比格林威治時(shí)間要晚8個小時(shí)，就是我們北京時(shí)間了。

再之后的GET是請求的方法，另一種方法是POST，可以簡單理解為GET就是索取，POST就是提交。

接著www.mahaixiang.cn/SEO/index.html是被請求文件的地址，可以是絕對地址也可以是相對地址。

HTTP/1.0是請求所遵守的協(xié)議，這里的協(xié)議是HTTP 1.0，整個記錄的結(jié)尾是兩個數(shù)字，其中200表示一種請求的狀態(tài)，意思是請求一切正常（具體可查看億企邦《解讀IIS日志中搜索引擎蜘蛛名稱代碼及爬尋返回代碼》的相關(guān)介紹）。

有時(shí)候這個數(shù)字會顯示為404（不明白怎么設(shè)置404的朋友，可查看億企邦《你真的懂404頁面設(shè)置嗎》的相關(guān)介紹），相信大家一看到這個數(shù)字就頭痛，它表示請求的文件無法找到（file not found）；又有時(shí)候，這個數(shù)字會顯示為301，表示頁面被重新定向到了別的地址。

最后的一個數(shù)字5593，表示所請求的文檔的長度為5122 bytes。

通用格式其實(shí)很簡單，但是里面的這11類記錄往往不足夠幫助我們進(jìn)行更深入的分析，因此其他的一些記錄被加入進(jìn)來，其中最重要的一些是：

①、請求來源（Referrer）：指連接到被請求資源的網(wǎng)站的URL，如果請求時(shí)通過點(diǎn)擊一個鏈接時(shí)發(fā)生，那么這個項(xiàng)目就會被記錄；

②、客戶端（User Agent）：記錄用戶的瀏覽器或者發(fā)出請求的程序的相關(guān)信息；

③、所需時(shí)間（Time Taken）：從請求的發(fā)出到請求的資源全部傳輸完畢所需花費(fèi)的時(shí)間；

④、Cookie：關(guān)于cookie的內(nèi)容請大家看億企邦《基于Cookie信息的互聯(lián)網(wǎng)精準(zhǔn)廣告定向技術(shù)研究》的這篇文章，在此，也就不多講了。

看起來，網(wǎng)站服務(wù)器日志所記錄的內(nèi)容是很有限的，比起我們動輒上萬行的編程實(shí)在是九牛一毛，但是，千萬別認(rèn)為網(wǎng)站服務(wù)器日志文件會很小，對于一些大網(wǎng)站，每分每秒都有很多訪問者對網(wǎng)站服務(wù)器進(jìn)行請求，所以日志文件會積少成多，成為巨型的數(shù)據(jù)文件。

有時(shí)候，一個小時(shí)的記錄就能超過數(shù)G的容量，如果你網(wǎng)站的服務(wù)器日志一個月才1M，那你就要加油了，沒有人氣的網(wǎng)站可沒有生命力。

5、利用網(wǎng)站服務(wù)器日志分析網(wǎng)站的優(yōu)點(diǎn)

如果你問我什么情況下，選擇用網(wǎng)站服務(wù)器日志來進(jìn)行網(wǎng)站分析，我建議你如非必須，那么，還是尋找一些更容易的方法能夠事半功倍，看看后面的內(nèi)容，你就能知道我為什么這么說了。

盡管是個技術(shù)活，但是利用網(wǎng)站服務(wù)器日志進(jìn)行網(wǎng)站分析還是有不少好處的。

（1）、網(wǎng)站服務(wù)器的日志是被你完全掌控的數(shù)據(jù)

所謂放在自己手心才是最放心的，這些日志在你的服務(wù)器中，如果不是黑客入侵，數(shù)據(jù)不可能被你不希望的人獲?。ň唧w可查看億企邦《如何通過IIS日志分析網(wǎng)站的隱形信息》的相關(guān)介紹）。

而且，只要你不刪除，它們永遠(yuǎn)都在那里，在任何時(shí)候你都可以回溯歷史數(shù)據(jù)，無論這些數(shù)據(jù)有多么久遠(yuǎn)，有朝一日，你的網(wǎng)站大獲成功，這些日志也是一份奮斗歷史的見證。

（2）、能夠記錄機(jī)器人或自動程序?qū)W(wǎng)站的訪問

其次，前面講過，網(wǎng)站服務(wù)器的日志是記錄網(wǎng)站服務(wù)器行為的，因此任何服務(wù)器響應(yīng)的請求都會被記錄下來，這些響應(yīng)可能是應(yīng)答用戶發(fā)出的請求，也完全可能是應(yīng)答一些互聯(lián)網(wǎng)上自動程序發(fā)出的請求。

最常見的一種互聯(lián)網(wǎng)上的自動程序是搜索引擎的機(jī)器人，例如：百度的Baiduspider、Google的Googlebot，這意味著網(wǎng)站服務(wù)器日志能夠用來分析搜索引擎的訪問，并幫助我們優(yōu)化搜索引擎對網(wǎng)站的訪問。

講到這里，億企邦請大家注意，并不是每一種網(wǎng)站分析方法都能做到這一點(diǎn)，我們最常用的為網(wǎng)站頁面加入標(biāo)簽的方法是不能獲取搜索引擎流量的。

（3）、各個終端訪問的詳細(xì)記錄

網(wǎng)站服務(wù)器的日志能夠記錄網(wǎng)站服務(wù)器全部響應(yīng)行為的特點(diǎn)還延伸出另外一個優(yōu)點(diǎn)，那就是無論是何種終端訪問服務(wù)器，都能把相關(guān)數(shù)據(jù)記錄下來。

現(xiàn)在，能夠訪問網(wǎng)站的終端越來越多了，我無聊的時(shí)候也試著用Sony的PSP上網(wǎng)，用手機(jī)的GPRS也能輕松的瀏覽網(wǎng)頁，這些形形色色的終端的訪問，服務(wù)器日志都會忠實(shí)的記錄，但頁面加入標(biāo)簽的方法就可能完全行不通。

（4）、能夠探知文件是否完全下載

日志方法的另一個好處是能夠記錄文件下載的情況，如果你在網(wǎng)上下載一個MP3音樂，你在發(fā)出這個響應(yīng)的時(shí)候，日志會記錄一個狀態(tài)；你在下載完全的時(shí)候，日志照樣會記錄一個狀態(tài)；如果你沒有下載完全，日志還是會記錄下來，這個，我想對那些提供下載服務(wù)的網(wǎng)站很有用。

（5）、數(shù)據(jù)獲取不依賴于第三方

通過日志獲取數(shù)據(jù)本身不需要額外的第三方的幫助，只要你的服務(wù)器在運(yùn)轉(zhuǎn)，日志就會源源不斷的被創(chuàng)建、保存。

不過，請注意，這里我所指的是數(shù)據(jù)的獲取不需要額外的支持，但是數(shù)據(jù)的分析一般而言，還是需要第三方的幫助的，直接去用肉眼讀日志文件中的數(shù)據(jù)進(jìn)行分析是不可想象的。

（6）、不怕防火墻

最后，日志方法不懼怕防火墻或客戶端安全軟件的屏蔽，因?yàn)閿?shù)據(jù)都是從服務(wù)器端獲取的。

看起來似乎不錯，不過凡事有利有弊，日志方法也肯定有它不能克服的不足。

6、利用網(wǎng)站服務(wù)器日志分析網(wǎng)站的缺點(diǎn)

日志方法能夠起到作用的前提是服務(wù)器要響應(yīng)來自客戶端的請求，如果客戶端的請求不通過服務(wù)器就得到了響應(yīng)（這其實(shí)是經(jīng)常發(fā)生的），那么服務(wù)器日志法就無能為力了。

（1）、害怕網(wǎng)頁緩存

為了提高網(wǎng)站頁面的載入速度，人們發(fā)明了網(wǎng)頁緩存（Cache），在臺灣，Cache被翻譯作“快取”，似乎兼?zhèn)淞艘袅x。

網(wǎng)頁緩存的原理很容易理解，但卻是個了不起的發(fā)明，在緩存出現(xiàn)之前，人們訪問網(wǎng)站每次都需要把網(wǎng)頁從網(wǎng)站的服務(wù)器傳輸?shù)娇蛻舳说臑g覽器中，這個速度當(dāng)然會有點(diǎn)兒慢，尤其是網(wǎng)絡(luò)條件不好的時(shí)候。

于是善動腦筋的人們發(fā)現(xiàn)，每次訪問的網(wǎng)站其實(shí)有很多內(nèi)容是沒有更新的，如果能夠把那些不經(jīng)常更新的部分放在自己的電腦里面，每次打開網(wǎng)頁的時(shí)候，首先搜索自己電腦里面已經(jīng)有的內(nèi)容，然后再去服務(wù)器去尋找那些被更新了的部分，這樣服務(wù)器傳輸?shù)臄?shù)據(jù)量就會大大減少了，整個網(wǎng)頁也會被更快地顯示出來。

現(xiàn)在，我們大部分人的瀏覽器都設(shè)置了緩存，所以，有時(shí)候，你會發(fā)現(xiàn)，即使網(wǎng)絡(luò)沒有接通，你訪問的網(wǎng)站似乎也能“正常”打開，只不過瀏覽器會顯示“脫機(jī)”狀態(tài)，告訴你，這些內(nèi)容不是真正從服務(wù)器傳輸過來的。

除了客戶端（瀏覽器）能夠存放緩存的內(nèi)容外，代理服務(wù)器（Proxy）也能夠存放網(wǎng)頁緩存，目的同樣是為了提速。

你可以把代理服務(wù)器的緩存想象成CPU的“二級緩存”——當(dāng)客戶端沒有存儲某個網(wǎng)頁的緩存的時(shí)候（“一級緩存”沒有內(nèi)容），瀏覽器就會尋找代理服務(wù)器緩存，看看有沒有內(nèi)容，如果還沒有，那才會再去尋找真正存放網(wǎng)頁內(nèi)容的網(wǎng)站服務(wù)器。

有了緩存，當(dāng)你點(diǎn)擊瀏覽器的“回退按鈕”的時(shí)候，回退的上一個頁面就不需要再重新從服務(wù)器中下載一次，而是立即就呈現(xiàn)在你的面前，你常用的網(wǎng)站的打開速度也顯著提升了（具體可查看億企邦《如何實(shí)現(xiàn)shtml頁面的局部緩存》的相關(guān)介紹）。

可是，對于通過服務(wù)器日志來獲取網(wǎng)站訪問數(shù)據(jù)的方法而言，這可不是一個好事情，由于緩存的存在，本來應(yīng)該請求服務(wù)器的結(jié)果不需要請求了，服務(wù)器的日志什么也不會記錄下來，可是對頁面的訪問卻又實(shí)實(shí)在在的發(fā)生了，所以，緩存的存在會使日志方法低估網(wǎng)站的實(shí)際訪問量。

（2）、害怕Flash等“客戶端交互”內(nèi)容

現(xiàn)在，為了更具沖擊力的視覺效果和更豐富的網(wǎng)頁互動，很多網(wǎng)站都運(yùn)用Flash、加入視頻、設(shè)計(jì)很多互動程序在網(wǎng)頁上已經(jīng)稀疏平常。

而這些元素，它們太獨(dú)立了，以至于當(dāng)它們被載入到瀏覽器端了之后，完全可以在瀏覽器端運(yùn)行而不再與服務(wù)器發(fā)生交互，或者只需要在必要的時(shí)候才與服務(wù)器發(fā)生交互。

比如，你玩普通網(wǎng)頁版的Flash小游戲，一旦游戲下載完畢，你在玩的過程中跟網(wǎng)站服務(wù)器就不會有什么聯(lián)系了，或者你看網(wǎng)頁上的視頻，你在播放器上進(jìn)行的暫停操作，一般也不會跟服務(wù)器進(jìn)行互動。

還有，有一些腳本語言編寫的網(wǎng)頁程序，是在瀏覽器上被解釋執(zhí)行的，比如用JavaScript實(shí)現(xiàn)的網(wǎng)頁Tab標(biāo)簽切換，在頁面全部載完后，無論你怎么切換Tab，服務(wù)器都感覺不到了。

服務(wù)器感覺不到，也就不會存在什么服務(wù)器日志記錄，也就不會有數(shù)據(jù)，因此用日志方法是無法準(zhǔn)確獲取“客戶端交互”類型的網(wǎng)站訪問行為的，這種情況下，必須選擇其他的數(shù)據(jù)收集方法。

（3）、不精確的訪問者記錄

日志方法辨別獨(dú)立訪問者需要依靠客戶端的IP地址，也只能依靠它，不過，IP地址顯然不代表真正的訪問者，上班族的整個辦公室的IP地址都可能是一個（使用代理服務(wù)器），而這個辦公室可能坐著十多個人。

同樣，在家中，如果你購買了公共網(wǎng)絡(luò)服務(wù)，那么你的IP地址存在動態(tài)分配的問題，你今天上網(wǎng)的IP地址和明天的可能就會不同，這個時(shí)候日志方法只能判斷為兩個不同的訪問者。

此外，前面提到過日志是能夠忠實(shí)記錄機(jī)器（非人為）的訪問活動的，但是機(jī)器不是人，它們的活動混在真實(shí)的人的訪問之中，同樣會使真實(shí)訪問者的數(shù)量，或者訪問數(shù)本身被高估。

在這正反兩相反方向的共同作用下，結(jié)果只能一個，那就是對于訪問者數(shù)量的估算是非常模糊的。

當(dāng)然，我們必須要承認(rèn)，無論用什么方法，網(wǎng)站訪問者的精確數(shù)量都無法獲得，但相對而言，日志方法要更不準(zhǔn)確些。

（4）、較弱的實(shí)時(shí)性

網(wǎng)站服務(wù)器日志是記錄服務(wù)器運(yùn)行的實(shí)時(shí)數(shù)據(jù)的，但是這些數(shù)據(jù)想要被取出分析，實(shí)時(shí)性就沒有那么好了。

常見的情況是，你必須首先把服務(wù)器日志文件（log file）從服務(wù)器中取出來，而這些文件肯定不會是服務(wù)器正在運(yùn)行過程中的數(shù)據(jù)，一般都是隔天的（需要驗(yàn)證），然后再把這些日志文件導(dǎo)入到專門針對日志分析的工具中才能進(jìn)行分析，這個過程的快慢依賴于你的熟練程度，但要追求實(shí)時(shí)，頗有難度。

有技術(shù)高超的站長或者工程師通過架設(shè)內(nèi)部網(wǎng)絡(luò)、組建專門的日志分析服務(wù)器，并且編寫特定的程序來解決日志分析的實(shí)時(shí)性問題，但是，對于普通的中小網(wǎng)站，這種方法難度頗大，花費(fèi)不菲，所以可行性不強(qiáng)。

因此，實(shí)時(shí)性是絕大部分通過日志方法來分析網(wǎng)站數(shù)據(jù)時(shí)要面對的問題。

（5）、海量的數(shù)據(jù)存儲

服務(wù)器日志是忠實(shí)的，所以它會如實(shí)記錄下來每一分每一秒發(fā)生的每一條服務(wù)器響應(yīng)。

對于一些流量稍大的網(wǎng)站，一天的網(wǎng)站日志記錄超過數(shù)個G（Gigabytes）是非常正常的，而那些最大的網(wǎng)站，一個小時(shí)就可能產(chǎn)生數(shù)G的記錄。

我們沒有詹姆斯·卡梅隆的超級團(tuán)隊(duì)（他的《阿凡達(dá)》特效需要處理超過500,000G的數(shù)據(jù)），所以如果要回溯網(wǎng)站一個月的流量就可能變成一個相當(dāng)棘手的問題，需要投入相當(dāng)?shù)臅r(shí)間和耐心，如果你沒有相當(dāng)?shù)募夹g(shù)和經(jīng)驗(yàn)，效率就會很低。

（6）、日志文件獲取繁瑣

我們不能把日志文件的獲取想象的太簡單，畢竟這不是在自己電腦中點(diǎn)開一個MP3文件那么容易，有些網(wǎng)站有鏡像服務(wù)器，有些服務(wù)器在境外，有些服務(wù)器是由處在多個不同地理位置的物理服務(wù)器邏輯組合而成。

這些情況下，在進(jìn)行日志分析之前需要集中所有的日志文件，這是一個很有些麻煩的事情，尤其是當(dāng)日志文件的體積極為龐大的時(shí)候。

另外，如果是租用的ISP服務(wù)器空間，如果沒有權(quán)限獲取日志數(shù)據(jù)，那么實(shí)際上連進(jìn)行分析的可能性都沒有了。

7、什么情況下需要分析服務(wù)器日志？

既然服務(wù)器日志的分析這么復(fù)雜，我們有沒必要天天去分析服務(wù)器日志，那我們在什么情況下，才需要去分析服務(wù)器日志呢？對此，億企邦建議你如果有如下的數(shù)據(jù)監(jiān)測和分析的需要，你應(yīng)該用日志分析方法了。

（1）、需要了解搜索引擎機(jī)器人或者其他非人為訪問流量，并且希望據(jù)此對網(wǎng)站進(jìn)行針對性的優(yōu)化，如通過分析搜索引擎的訪問行為來進(jìn)行SEO。

（2）、需要了解除了普通的PC客戶端之外的上網(wǎng)設(shè)備對網(wǎng)站的訪問情況。

（3）、需要了解網(wǎng)站的文件資源是否被用戶完整的下載索取。

（4）、對網(wǎng)站流量信息具有極高的保密需要，不允許讓任何第三方染指或幫忙。

（5）、對于網(wǎng)站服務(wù)器的安全性和可維護(hù)性有要求，以及有非常顯著的反抗黑客或其他非授權(quán)訪問需求的。

8、什么情況下不需要分析服務(wù)器日志？

如果有如下需求，你不應(yīng)該用日志分析方法：

（1）、你的網(wǎng)站有重要的Flash之類的“非網(wǎng)頁類型的互動”，用戶和這些內(nèi)容的互動是你想要了解的內(nèi)容；

（2）、不喜歡麻煩，對大數(shù)據(jù)量文件的處理不擅長，對日志文件不熟悉，沒有好的日志數(shù)據(jù)處理軟硬件資源；

（3）、需要更精確的了解網(wǎng)站被真正的人訪問的情況，而不需要了解“非人”的機(jī)器對網(wǎng)站的訪問并且不希望受到網(wǎng)頁緩存的干擾；

（4）、需要更好的實(shí)時(shí)性、更規(guī)律更直觀的數(shù)據(jù)呈現(xiàn)。

據(jù)億企邦了解，在國內(nèi)使用日志來分析網(wǎng)站仍然占有相當(dāng)?shù)谋壤?，尤其是對于一些大型網(wǎng)站，他們會開發(fā)專門的軟件，劃撥專門的硬件資源來分析網(wǎng)站日志，不過，這不僅僅是從分析訪問者行為的角度來考慮，更是從網(wǎng)站服務(wù)器的安全性和可維護(hù)性角度來考慮的。

億企邦點(diǎn)評：

通過分析服務(wù)器日志的數(shù)據(jù)，我們可以看出蜘蛛的活躍程度、親和程度、抓取深度等，總訪問次數(shù)、停留時(shí)間、抓取量越高、平均抓取頁面、平均停留時(shí)間，表明網(wǎng)站越受搜索引擎喜歡，對于重要目錄，我們可以通過內(nèi)外調(diào)整增加權(quán)重及爬取，對于無效頁面，在robots文件進(jìn)行屏蔽，進(jìn)而有效的進(jìn)行網(wǎng)站運(yùn)營。