導讀：百度蜘蛛這個名詞大家都是非常熟悉了，因為我們在看網站日志的時候就會著重去看百度蜘蛛每天來網站的抓取的時間段與次數，看百度蜘蛛每天爬取網站的次數與頁面是否正常，然后再去做一些網站優化的調整，那今天深度網小編將為大家分享如何去利用百度蜘蛛referer找到報錯頁面入口呢?

　　大家應該都知道百度已經全站https并取消referer關鍵詞顯示了，那么“百度蜘蛛referer”又是什么?有什么妙用嗎?

　　什么是百度蜘蛛的referer

　　百度蜘蛛的referer，是指當百度蜘蛛抓取某一個URL的時候，在HTTP頭中帶的Referer字段。請注意，這個定義和百度最近聲明去除Referer中關鍵詞數據沒有任何關系。這次講的是spider發起的HTTP請求，百度而去除的是用戶發起的。如果百度蜘蛛抓取百度首頁的logo，會發起這樣的請求：

　　上面Referer字段很明確的表示了他是從www.baidu.com這個頁面上發現并抓取了www.baidu.com/img/bd_logo1.png。而大家在服務器訪問日志中也應該能看到相應的記錄。目前發現只有當百度抓取一個網頁的同時，又抓取了網頁中的：img、js和css才會帶上referer字段。這部分額外的抓取量，應該不會占用百度分配的抓取配額，屬于“買1送1”。

　　對于站長的意義

　　如果你發現有一批URL(僅限于img,js,css)報錯(4xx或者5xx)，但是一直找不到入口在哪，也就是說你不明白百度蜘蛛是從哪里發現這些錯誤URL的。這個字段可以幫助你迅速定位。

　　深度網為您舉個例子

　　比如我們的SEO日志分析系統中可以看到，符合下面這種URL Pattern的路徑每天有6萬到10萬的抓取而且全部報404。

　　從發現問題至今過了1個月，查遍整個網站我也沒找到入口。今天偶然仔細查了一下日志，想起了百度蜘蛛的referer，馬上就能定位問題了。這些404的URL來自于一套沒人維護也沒人關注的頁面(往往是這樣)。收錄流量都不錯。由于最近公司圖片系統更新，圖片的URL全部更改了，但這套頁面并沒有跟著更新。

　　如果站點沒有記錄referer怎么辦

　　iis請在這里勾選“cs(Referer)”：

　　小結，我們在給網站做SEO優化的時候多多少少都會碰到一些問題，但是廣州營銷型網站建設小編在這里不得不提醒大家的是有很多SEO問題并不是立即致命的，但如果我們沒有及時解決這些問題。那網站流量就像螞蟻啃大象一樣一點一點啃掉了，所以說在碰到網站優化的問題的時候，一定要及時的去解決，才不會出現流量下降的情況，平常也要多積累一些系統性的知識，因為在關鍵時刻也是能發揮作用的。

　　隨著“互聯網+”時代的到來，全網營銷已經變得非常重要，你是否也想讓你的企業在網上發展更快更強大呢?深圳市深度網專業營銷型網站建設公司，從成立之初一直專注于營銷型網站建設，營銷型手機網站建設，不斷為傳統企業打造網絡快速賺錢機器，為不少企業贏得了搶占網絡市場的先機。您可以點擊：，也可以撥打深度網免費熱線電話：400-615-8050。