分析Googlebot爬行日志文件[案例]
深圳網站建設效益分析Googlebot爬行尖峰通過日志文件[案例]沖擊
網站主真的不知道是誰，或是完整的故事，是爬行網站直到他們分析自己的服務器日志。專欄作家Glenn Gabe股份為例，闡述了一些見解，可以從服務器日志文件分析收集到的。

我最近開始幫助一個網站，受到負面影響5月17日更新算法。該網站已經很長一段時間的上網質量的灰色地帶，澎湃有質量的更新，有時滴。所以我開始挖掘通過抓取分析和審計的網站。

一旦我開始分析網站，我注意到幾頁奇怪的尖峰爬在谷歌搜索控制臺抓取統計報告（GSC）。例如，谷歌通常會爬行大約每天3000頁，但前兩穗猛增至近20000。然后兩更突破11000。

不用說，我是在發現為什么那些尖峰發生興趣。有SEO網站上的技術問題？有引起穗外部因素嗎？或者這是Googlebot異常？我趕緊伸手將我的客戶對我所看到的。

穗狀花序爬行：有時期待，有時不

我問我的客戶，如果他們實施任何大規模的變化的基礎上，我建議可以在爬行引發穗。他們還沒。記得，我剛開始幫助他們。

另外，我剛剛完成了兩個大型爬行網站并沒有看到任何奇怪的技術問題可能是導致Googlebot SEO抓取許多額外的頁面或資源：編碼故障可能導致谷歌抓取許多近重復的網頁，拙劣的分頁，分面導航等。我沒有找到任何這些問題在網站上（至少根據第一套爬）。

現在，值得注意的是，谷歌可以增加爬行，當它看到大規模的變化在一個網站 -例如，一個站點遷移，重新設計或改變許多網址的網站上。谷歌 站長趨勢分析師John Mueller解釋了這幾次。

下面的圖片顯示 什么能像。這是從一個網站，我正在幫助一個HTTPS遷移（不是網站我在后覆蓋）。注意在爬行后遷移發生的穗。這是完全正常的：

但這是不是發生了什么事，在這種情況下。現場有沒有大規模的變化，但。在審查的情況，我的決定是明確的：

釋放日志文件！

服務器電源的日志

日志文件包含了網站活動的原始數據，包括從用戶和搜索引擎的訪問。使用日志，你可以挖掘到每個訪問事件看哪些網頁和資源被抓取，響應代碼返回，引薦，IP地址和更多。我很想看看，在爬行了穗。

如果你從未處理的日志文件，你應該知道他們可以得到相當大的。例如，看到是在文件大小幾百兆的日志文件，這是不尋常的（或高容量的網站甚至更大）。這是一個日志文件是我的工作。這是696mb。

在分析日志文件的第一集，在進行儀表板講了一個有趣的故事。響應碼圖顯示404s大幅飆升，Googlebot遇到。這看起來有問題。

我注意到通往陌生網址看起來像拙劣的頁面包含成千上萬的視頻事件，和我的客戶的網站不包含其中的一個URL。在這段時間的404s大部分是由于陌生網址。

但事情看起來并沒有對那些“Googlebot”事件。更多的情況下。

情節復雜起來：欺騙

我總是告誡人們才挖到自己的日志文件，他們可能會看到一些令人不安的事情。記住，日志包含網站上的所有活動，包括所有機器人的活動。很不幸的是不尋常的看到許多機器人抓取網站獲得英特爾…或者更惡毒的原因。

例如，你可能會看到爬蟲試圖了解更多關于你的網站（一般從競爭對手）。你也可以看到黑客攻擊。例如，從IP地址隨機事件的錘擊你的WordPress的登錄頁面。

所以，這是在404s穗擦我浮出水面，從“Googlebot”。我很快就注意到許多假冒Googlebot的事件（從幾個不同的IP地址）。尖叫的青蛙日志分析器有一個俏皮的“驗證程序”，我充分利用特征。

它知道真正的Googlebot釘在這段時間內有趣的（通過GSC報告），而偽造的Googlebots也擊網站的那段時間。但我不能在日志文件中發現任何驗證Googlebot尖峰。

所以我們研究和收集的一些壞演員IPS 和看到他們是不是從谷歌。我的客戶現在是處理這些IPS。這是一個聰明的做法，特別是如果你看到來自特定IP地址欺騙Googlebot回訪。我們經歷了這個過程的第二穗以及。

這是提升你的發動機罩和一些瘋狂的問題找到一個很好的例子（或燃料被添加到您的引擎）。你可以接近休克誓要永遠再看看引擎蓋，或者你可以解決問題的長期。清掃地毯下的問題在這里永遠不可能是真正的解決方案。

將真正的Googlebot的請站起來？

在分析前兩個尖峰，我還沒有看到任何驗證Googlebot的問題。（我指的是谷歌真正的爬行網站并沒有不同的爬蟲欺騙Googlebot的。）所以，在GSC抓取統計并秒殺，但服務器日志顯示Googlebot適當正常活動。這是偽造的Googlebots似乎引起的問題。

檢查驗證Googlebot的活動與欺騙下活動：

抓取數據恢復正常，然后再次上漲

我們已檢查抓取統計報告在GSC經常監測情況（對于房Googlebot）。抓取數據恢復正常了，但添加第三和第四的時間（在第一個屏幕截圖看到我分享以上）。最近的上漲是超過11000頁的爬行。

檢查記錄揭示了很多的網址，不要在網站上存在（而不是視頻網址之前）。這是由Googlebot適當的訪問（驗證）。我很高興看到我們終于抓住了一些真正的Googlebot問題（而不只是欺騙Googlebot的問題）。

這些URL看起來完全搞砸，有時長幾百字。它看起來像一個編碼錯誤，不斷添加更多的人物和目錄的每個URL連接。 我發信息給我的客戶，他們轉發信息到他們的領先開發商。他們一開始不知道谷歌會發現這些網址。我會掩護下。
Googlebot和404s：微妙的形勢對于SEO

需要明確的是，404s不是問題，如果頁面應該是404。谷歌的John Mueller解釋了很多次。404s是完全自然的在網絡上，而不影響質量的一個網站。

谷歌也寫了一篇文章對404s網站管理員中心博客，如果他們可以傷害你的網站。繆勒的評論之間，支持DOC和博客后，你可以放心，404s本身不會引起質量問題。但是，為了確保邪惡是很重要的，不是你偽造的Googlebots錘服務器嘗試影響正常運行時間（和SEO長期）。

我問我的客戶，如果網站有任何性能問題的基礎上，我們看到了爬行的尖峰，并聽到他們根本沒有看到任何問題。網站運行在一個非常強大的服務器，連眼睛都沒有眨一下，當“Googlebot”添加在爬行。

谷歌是如何找到這些長的網址嗎？

在爬這些長URL的分析，我可以看到破碎的URL和一些JavaScript文件之間的連接。我相信谷歌是尋找URL（或形成URL）基于JavaScript代碼。

你會發現，谷歌提到的可能性，這發生在我上面列出的支持文件。所以如果你看到URL被抓取谷歌，并在您的網站上目前沒有，那么Googlebot可以找到那些網址通過JavaScript或其他嵌入式內容。這也是重要的是要知道。

我們學到了什么（不知道）

正如我前面所說，挖掘服務器日志可以是有益的和令人不安的。另一方面，你可以發現問題，Googlebot的遭遇，然后解決這些問題。另一方面，你可以看到邪惡的東西，如黑客攻擊、偽造Googlebots抓取您的網站獲得英特爾，或其他試圖錘服務器。

這里有一些我們學到的東西通過這個練習：

    我們可以清楚地看到偽造的Googlebots爬行網站，許多人打怪404s。我的客戶能夠解決那些流氓IPS，錘擊服務器。
    我們看到了一個真正的Googlebot（驗證）爬行看起來是拙劣的URL（基于發現通過JavaScript鏈接）。利用這些數據，我的客戶可以挖掘到的技術問題，可以得到那些長長的，拙劣的URL。
    我們發現所有的尖刺從Googlebot也<strong>不會</strong>被顯示在GSC。這很奇怪，我不知道如果這是一個報告的問題在谷歌的結束或者別的什么。但是，我們也發現了一些真正從Googlebot尖峰，我們解決了。
    也許最重要的是，我的客戶可以清楚地看到，例如SEO的軟肋，許多偽造的Googlebots爬行網站獲得英特爾，或者更惡毒的原因。但至少我的客戶都知道這是現在正在發生的（通過數據）。現在他們要形成一種處理流氓機器人計劃。

總結：日志文件可以揭示表面之下的險惡的問題

當你打破它，網站所有者，真的不知道是誰，或是完整的故事，是爬行網站直到他們分析自己的服務器日志。谷歌分析將不提供此數據。你必須了解你的日志表面機器人訪問你的網站。

所以，如果你能找到一個尖峰在爬行，你在想什么，別忘了你的日志！他們可以是一個寶貴的數據，可以幫助揭開SEO神秘源（可能是陰險的問題亟待解決）。不要害怕去挖掘尋找答案。記住，你可能需要準備好。