新網(wǎng)站抓取更多頁(yè)面的問(wèn)題

新網(wǎng)站抓取：重建找到更多的問(wèn)題更多的頁(yè)面，比以往任何時(shí)候都快！
截至今天，深圳網(wǎng)站制作已經(jīng)重新對(duì)所有的客戶站點(diǎn)爬行！無(wú)論是前端和后端都完全重建，新的功能，以幫助您解決您的所有技術(shù)的SEO問(wèn)題。

首先，好消息是新網(wǎng)站抓取更多頁(yè)面的問(wèn)題，都要支持客戶訪問(wèn)網(wǎng)站抓取的新版本，我們完全重建深的網(wǎng)站爬蟲(chóng)技術(shù)SEO審計(jì)平臺(tái)。壞消息？什么都沒(méi)有。它更大，更好，更快，你不會(huì)支付額外的錢(qián)。

雖然你已經(jīng)使用了我們現(xiàn)有的網(wǎng)站爬行，但你知道它并不總是符合你的期望。事實(shí)是，它還沒(méi)有達(dá)到我們的。一年多前，我們著手重建后端履帶，但我們很快意識(shí)到，我們想要的是一個(gè)完全重新想象的履帶式，正面和背面，具有最好的功能，我們可以提供。今天，我們推出了第一個(gè)版本的新的履帶式。

代號(hào)：Aardwolf

后端是全新的。我們完全重建的“土狼”引擎爬行快一倍，而挖得更深。對(duì)于較大的賬戶，它可以支持多達(dá)十個(gè)并行爬蟲(chóng)，高達(dá)20X的老爬蟲(chóng)實(shí)際速度。土狼也完全支持SNI網(wǎng)站（包括CloudFlare），糾正我們的老爬蟲(chóng)的主要缺點(diǎn)。

查看/搜索*所有*網(wǎng)址

我們的舊爬蟲(chóng)的一個(gè)主要限制是，你只能看到已知的問(wèn)題頁(yè)面。點(diǎn)擊“所有爬行網(wǎng)頁(yè)”在新的爬蟲(chóng)，你將被帶到我們?cè)谀愕木W(wǎng)站爬行的最后一個(gè)抓取周期的每一個(gè)網(wǎng)址列表：

您可以按狀態(tài)碼，總問(wèn)題，Page Authority（PA），或抓取深度排序此列表。您也可以過(guò)濾URL，狀態(tài)碼，或是否有已知的問(wèn)題頁(yè)面。例如，讓我們說(shuō)，我只是想看看所有的頁(yè)面爬MOZ.com在“博客”目錄…

我只是點(diǎn)擊【+】，選擇“URL”輸入“/博客，“我在路上。

你喜歡自己的數(shù)據(jù)切片和骰子嗎？您可以導(dǎo)出您的整個(gè)爬行到CSV，額外的數(shù)據(jù)，包括每頁(yè)取時(shí)間和重定向目標(biāo)。

立即重新抓取你的網(wǎng)站

有時(shí)候，你不能等待一個(gè)星期的一個(gè)新的爬行。也許你發(fā)布你的網(wǎng)站或取得了重大的變化，你就知道這些變化是否是工作。沒(méi)問(wèn)題，只要點(diǎn)擊“抓取我的網(wǎng)站在網(wǎng)站爬行段的任何頁(yè)面的頂部，您將在您的方式…

從我們的介質(zhì)層，你將獲得每月10 recrawls，除了你的每周自動(dòng)抓取。當(dāng)賭注很高，或者你在嚴(yán)格的最后期限為客戶審查，我們明白，等待只是不是一個(gè)選項(xiàng)。抓取允許您驗(yàn)證您的修復(fù)是成功的，讓你爬的報(bào)告。

忽視個(gè)人問(wèn)題

由于多年來(lái)許多客戶提醒我們，技術(shù)SEO不是一一大小適合所有的任務(wù)，什么是關(guān)鍵的一個(gè)網(wǎng)站是幾乎沒(méi)有滋擾另一個(gè)。例如，讓我說(shuō)我不關(guān)心一些過(guò)于動(dòng)態(tài)的網(wǎng)址（對(duì)于許多網(wǎng)站來(lái)說(shuō)，這是一個(gè)小問(wèn)題）。與新網(wǎng)站爬行，我只能選擇這些問(wèn)題，然后“忽略”他們（見(jiàn)綠色箭頭位置）：

如果你犯了錯(cuò)誤，不用擔(dān)心-你可以管理和恢復(fù)忽略的問(wèn)題。我們還將繼續(xù)跟蹤任何新的問(wèn)題，隨著時(shí)間的推移彈出。只是因?yàn)槟悴辉诤踅裉斓氖虑椴⒉灰馕吨悴恍枰浪粋€(gè)月后。

固定重復(fù)的內(nèi)容

在“內(nèi)容問(wèn)題”下，我們推出了一個(gè)全新的重復(fù)內(nèi)容檢測(cè)引擎和一個(gè)更好的，更清潔的用戶界面來(lái)瀏覽內(nèi)容。重復(fù)的內(nèi)容現(xiàn)在自動(dòng)聚集，我們盡我們所能始終如一地檢測(cè)“父”頁(yè)。這是從MOZ.com樣本：

您可以查看受影響的頁(yè)面總數(shù)，重復(fù)，和爬行深度，可以通過(guò)URL過(guò)濾。點(diǎn)擊箭頭（右欄）的所有頁(yè)面在集群（如截圖）。單擊當(dāng)前表行中的任何位置，獲取完整的配置文件，包括我們發(fā)現(xiàn)的鏈接源頁(yè)。

優(yōu)先快速和戰(zhàn)術(shù)

優(yōu)先技術(shù)SEO問(wèn)題需要深入了解一個(gè)網(wǎng)站。過(guò)去，為了簡(jiǎn)單起見(jiàn)，我擔(dān)心我們誤導(dǎo)了你們中的一些人。我們?cè)噲D給每一個(gè)問(wèn)題一個(gè)優(yōu)先級(jí)（高，中，或低），當(dāng)困難的現(xiàn)實(shí)是什么是一個(gè)網(wǎng)站上的主要問(wèn)題可能是故意和有用的另一個(gè)。

隨著新的網(wǎng)站抓取，我們決定將抓取的內(nèi)容從戰(zhàn)術(shù)上講，使用五桶：

臨界爬行問(wèn)題

履帶式的警告

重定向問(wèn)題

元數(shù)據(jù)問(wèn)題

內(nèi)容的問(wèn)題

希望你已經(jīng)猜到其中的一些包含。關(guān)鍵的問(wèn)題還是反映出的問(wèn)題，無(wú)論爬蟲(chóng)首先大多數(shù)網(wǎng)站，如5xx錯(cuò)誤重定向到404s。履帶警告表示可能的一些網(wǎng)站是很重要的問(wèn)題，但需要更多的上下文，如meta noindex。

優(yōu)先級(jí)往往取決于范圍，太。所有其他都是相等的，一個(gè)500錯(cuò)誤可能比一個(gè)重復(fù)頁(yè)更重要，但是10000個(gè)重復(fù)頁(yè)是不同的事。轉(zhuǎn)到底部的網(wǎng)站抓取概述頁(yè)，我們?cè)噲D平衡優(yōu)先級(jí)和范圍，以目標(biāo)你的前三個(gè)問(wèn)題來(lái)修復(fù)：

向前邁進(jìn)，我們將推出更智能的優(yōu)先級(jí)，包括分組問(wèn)題的文件夾，并添加數(shù)據(jù)可視化您已知的問(wèn)題。優(yōu)先級(jí)是一項(xiàng)艱巨的任務(wù)，一個(gè)我們沒(méi)有幫助你做的，以及我們可以。我們將盡力改變。

新網(wǎng)站抓取更多頁(yè)面的問(wèn)題潛入并告訴我們你的想法！

所有現(xiàn)有的客戶應(yīng)該有機(jī)會(huì)訪問(wèn)新網(wǎng)站爬行截至今天早些時(shí)候。更好的是，我們已經(jīng)抓取現(xiàn)有活動(dòng)，幾周的土狼的引擎，所以你有可用的歷史從一開(kāi)始！敬請(qǐng)關(guān)注博客明天有效優(yōu)先網(wǎng)站抓取的內(nèi)容，一定要登記為即將舉行的研討會(huì)。