新網站抓取更多頁面的問題

新網站抓?。褐亟ㄕ业礁嗟膯栴}更多的頁面，比以往任何時候都快！
截至今天，深圳網站制作已經重新對所有的客戶站點爬行！無論是前端和后端都完全重建，新的功能，以幫助您解決您的所有技術的SEO問題。

首先，好消息是新網站抓取更多頁面的問題，都要支持客戶訪問網站抓取的新版本，我們完全重建深的網站爬蟲技術SEO審計平臺。壞消息？什么都沒有。它更大，更好，更快，你不會支付額外的錢。

雖然你已經使用了我們現有的網站爬行，但你知道它并不總是符合你的期望。事實是，它還沒有達到我們的。一年多前，我們著手重建后端履帶，但我們很快意識到，我們想要的是一個完全重新想象的履帶式，正面和背面，具有最好的功能，我們可以提供。今天，我們推出了第一個版本的新的履帶式。

代號：Aardwolf

后端是全新的。我們完全重建的“土狼”引擎爬行快一倍，而挖得更深。對于較大的賬戶，它可以支持多達十個并行爬蟲，高達20X的老爬蟲實際速度。土狼也完全支持SNI網站（包括CloudFlare），糾正我們的老爬蟲的主要缺點。

查看/搜索*所有*網址

我們的舊爬蟲的一個主要限制是，你只能看到已知的問題頁面。點擊“所有爬行網頁”在新的爬蟲，你將被帶到我們在你的網站爬行的最后一個抓取周期的每一個網址列表：

您可以按狀態碼，總問題，Page Authority（PA），或抓取深度排序此列表。您也可以過濾URL，狀態碼，或是否有已知的問題頁面。例如，讓我們說，我只是想看看所有的頁面爬MOZ.com在“博客”目錄…

我只是點擊【+】，選擇“URL”輸入“/博客，“我在路上。

你喜歡自己的數據切片和骰子嗎？您可以導出您的整個爬行到CSV，額外的數據，包括每頁取時間和重定向目標。

立即重新抓取你的網站

有時候，你不能等待一個星期的一個新的爬行。也許你發布你的網站或取得了重大的變化，你就知道這些變化是否是工作。沒問題，只要點擊“抓取我的網站在網站爬行段的任何頁面的頂部，您將在您的方式…

從我們的介質層，你將獲得每月10 recrawls，除了你的每周自動抓取。當賭注很高，或者你在嚴格的最后期限為客戶審查，我們明白，等待只是不是一個選項。抓取允許您驗證您的修復是成功的，讓你爬的報告。

忽視個人問題

由于多年來許多客戶提醒我們，技術SEO不是一一大小適合所有的任務，什么是關鍵的一個網站是幾乎沒有滋擾另一個。例如，讓我說我不關心一些過于動態的網址（對于許多網站來說，這是一個小問題）。與新網站爬行，我只能選擇這些問題，然后“忽略”他們（見綠色箭頭位置）：

如果你犯了錯誤，不用擔心-你可以管理和恢復忽略的問題。我們還將繼續跟蹤任何新的問題，隨著時間的推移彈出。只是因為你不在乎今天的事情并不意味著你不需要知道它一個月后。

固定重復的內容

在“內容問題”下，我們推出了一個全新的重復內容檢測引擎和一個更好的，更清潔的用戶界面來瀏覽內容。重復的內容現在自動聚集，我們盡我們所能始終如一地檢測“父”頁。這是從MOZ.com樣本：

您可以查看受影響的頁面總數，重復，和爬行深度，可以通過URL過濾。點擊箭頭（右欄）的所有頁面在集群（如截圖）。單擊當前表行中的任何位置，獲取完整的配置文件，包括我們發現的鏈接源頁。

優先快速和戰術

優先技術SEO問題需要深入了解一個網站。過去，為了簡單起見，我擔心我們誤導了你們中的一些人。我們試圖給每一個問題一個優先級（高，中，或低），當困難的現實是什么是一個網站上的主要問題可能是故意和有用的另一個。

隨著新的網站抓取，我們決定將抓取的內容從戰術上講，使用五桶：

臨界爬行問題

履帶式的警告

重定向問題

元數據問題

內容的問題

希望你已經猜到其中的一些包含。關鍵的問題還是反映出的問題，無論爬蟲首先大多數網站，如5xx錯誤重定向到404s。履帶警告表示可能的一些網站是很重要的問題，但需要更多的上下文，如meta noindex。

優先級往往取決于范圍，太。所有其他都是相等的，一個500錯誤可能比一個重復頁更重要，但是10000個重復頁是不同的事。轉到底部的網站抓取概述頁，我們試圖平衡優先級和范圍，以目標你的前三個問題來修復：

向前邁進，我們將推出更智能的優先級，包括分組問題的文件夾，并添加數據可視化您已知的問題。優先級是一項艱巨的任務，一個我們沒有幫助你做的，以及我們可以。我們將盡力改變。

新網站抓取更多頁面的問題潛入并告訴我們你的想法！

所有現有的客戶應該有機會訪問新網站爬行截至今天早些時候。更好的是，我們已經抓取現有活動，幾周的土狼的引擎，所以你有可用的歷史從一開始！敬請關注博客明天有效優先網站抓取的內容，一定要登記為即將舉行的研討會。