做網(wǎng)站日志分析，可以幫助我們從客觀數(shù)據(jù)出發(fā)去了解網(wǎng)站的情況，準(zhǔn)確地定位搜索引擎蜘蛛爬行的頁(yè)面以及時(shí)間長(zhǎng)短，從而有針對(duì)性的對(duì)我們的網(wǎng)站進(jìn)行調(diào)整。

一、查看狀態(tài)碼信息（附：網(wǎng)站制作過(guò)程中見(jiàn)到的http狀態(tài)碼是什么）

狀態(tài)碼分為兩種，一種是蜘蛛狀態(tài)碼，另一種是用戶狀態(tài)碼，通過(guò)蜘蛛狀態(tài)碼可以準(zhǔn)確的查看到網(wǎng)站是否存在抓取問(wèn)題。例如：404代表的是錯(cuò)誤頁(yè)，301、302代表的是重定向，還有一些：504、500、等狀態(tài)碼，值得說(shuō)的是：除去200狀態(tài)碼，出現(xiàn)其他的狀態(tài)碼都是應(yīng)當(dāng)值得注意的，當(dāng)然，如果只是個(gè)別幾條則無(wú)需理會(huì)。但是如果數(shù)量一旦偏多，網(wǎng)站則100%出現(xiàn)問(wèn)題了。

二、查看目錄抓取概況

目錄抓取，可以清晰的查看到光顧網(wǎng)站的蜘蛛爬行過(guò)哪些目錄。要知道有些目錄是沒(méi)有價(jià)值的，如一些圖標(biāo)目錄、下載目錄、留言目錄等，還有后臺(tái)目錄、數(shù)據(jù)庫(kù)，如果任由蜘蛛爬行，也是一種安全隱患。另外一方面，搜索引擎對(duì)于不同的站點(diǎn)都有著抓取配額，無(wú)用目錄，更不要占用這樣的配額，以免減少有效配額的抓取量。

三、查看頁(yè)面抓取概況

頁(yè)面抓取可以準(zhǔn)確的查看到蜘蛛爬行的每一個(gè)頁(yè)面，這也是對(duì)于LOG日志分析上非常重要的一個(gè)環(huán)節(jié)。如：多重URL鏈接的抓取?垃圾頁(yè)面的抓取?都是可以在其中展現(xiàn)出來(lái)的。甚至：某個(gè)頁(yè)面抓取頻率越高，通常代表這個(gè)頁(yè)面更有價(jià)值。

如果你想優(yōu)化的頁(yè)面，抓取頻率偏低，那么就要為其增加適當(dāng)?shù)钠毓舛?，?lái)達(dá)成你想要的結(jié)果。

四、如何分析應(yīng)對(duì)？

1.如果想要更多有效的著陸頁(yè)被蜘蛛更多的抓取，那么請(qǐng)進(jìn)行結(jié)構(gòu)內(nèi)鏈的完善。

2.不希望蜘蛛抓取那些沒(méi)有優(yōu)化意義的頁(yè)面上，那么robots.txt上來(lái)進(jìn)行封閉。

3.“蜘蛛陷阱”無(wú)止盡的循環(huán)，浪費(fèi)抓取配額，通過(guò)頁(yè)面抓取，都可以直觀看到。

4.曝光力度夠了，蜘蛛一樣不抓取，只能說(shuō)頁(yè)面價(jià)值太低，需要進(jìn)一步優(yōu)化。

5.我們希望每個(gè)頁(yè)面的下載時(shí)間足夠快，可以在有效的時(shí)間內(nèi)抓取更多的頁(yè)面。

6.不是所有的蜘蛛都是真的蜘蛛，要學(xué)會(huì)查看蜘蛛是否為“采集”和“模擬”。

7.分析每天的蜘蛛，可以查看上升或者下降的趨勢(shì)。如果有明顯的變化，網(wǎng)站很可能會(huì)出事。

8.降低或者封禁不會(huì)帶來(lái)流量的蜘蛛，以減少服務(wù)器壓力，對(duì)大型網(wǎng)站很重要。

西安網(wǎng)站推廣公司認(rèn)為，網(wǎng)站日志分析也是中小企業(yè)網(wǎng)絡(luò)建設(shè)方案的其中一項(xiàng)重要內(nèi)容，也是我們必須掌握的一種基本的技能，可以對(duì)我們出現(xiàn)問(wèn)題的網(wǎng)站進(jìn)行簡(jiǎn)單的診斷，及時(shí)處理問(wèn)題。