新网站抓取更多页面的问题

新网站抓取：重建找到更多的问题更多的页面，比以往任何时候都快！
截至今天，深圳网站制作已经重新对所有的客户站点爬行！无论是前端和后端都完全重建，新的功能，以帮助您解决您的所有技术的SEO问题。

首先，好消息是新网站抓取更多页面的问题，都要支持客户访问网站抓取的新版本，我们完全重建深的网站爬虫技术SEO审计平台。坏消息？什么都没有。它更大，更好，更快，你不会支付额外的钱。

虽然你已经使用了我们现有的网站爬行，但你知道它并不总是符合你的期望。事实是，它还没有达到我们的。一年多前，我们着手重建后端履带，但我们很快意识到，我们想要的是一个完全重新想象的履带式，正面和背面，具有最好的功能，我们可以提供。今天，我们推出了第一个版本的新的履带式。

代号：Aardwolf

后端是全新的。我们完全重建的“土狼”引擎爬行快一倍，而挖得更深。对于较大的账户，它可以支持多达十个并行爬虫，高达20X的老爬虫实际速度。土狼也完全支持SNI网站（包括CloudFlare），纠正我们的老爬虫的主要缺点。

查看/搜索*所有*网址

我们的旧爬虫的一个主要限制是，你只能看到已知的问题页面。点击“所有爬行网页”在新的爬虫，你将被带到我们在你的网站爬行的最后一个抓取周期的每一个网址列表：

您可以按状态码，总问题，Page Authority（PA），或抓取深度排序此列表。您也可以过滤URL，状态码，或是否有已知的问题页面。例如，让我们说，我只是想看看所有的页面爬MOZ.com在“博客”目录…

我只是点击【+】，选择“URL”输入“/博客，“我在路上。

你喜欢自己的数据切片和骰子吗？您可以导出您的整个爬行到CSV，额外的数据，包括每页取时间和重定向目标。

立即重新抓取你的网站

有时候，你不能等待一个星期的一个新的爬行。也许你发布你的网站或取得了重大的变化，你就知道这些变化是否是工作。没问题，只要点击“抓取我的网站在网站爬行段的任何页面的顶部，您将在您的方式…

从我们的介质层，你将获得每月10 recrawls，除了你的每周自动抓取。当赌注很高，或者你在严格的最后期限为客户审查，我们明白，等待只是不是一个选项。抓取允许您验证您的修复是成功的，让你爬的报告。

忽视个人问题

由于多年来许多客户提醒我们，技术SEO不是一一大小适合所有的任务，什么是关键的一个网站是几乎没有滋扰另一个。例如，让我说我不关心一些过于动态的网址（对于许多网站来说，这是一个小问题）。与新网站爬行，我只能选择这些问题，然后“忽略”他们（见绿色箭头位置）：

如果你犯了错误，不用担心-你可以管理和恢复忽略的问题。我们还将继续跟踪任何新的问题，随着时间的推移弹出。只是因为你不在乎今天的事情并不意味着你不需要知道它一个月后。

固定重复的内容

在“内容问题”下，我们推出了一个全新的重复内容检测引擎和一个更好的，更清洁的用户界面来浏览内容。重复的内容现在自动聚集，我们尽我们所能始终如一地检测“父”页。这是从MOZ.com样本：

您可以查看受影响的页面总数，重复，和爬行深度，可以通过URL过滤。点击箭头（右栏）的所有页面在集群（如截图）。单击当前表行中的任何位置，获取完整的配置文件，包括我们发现的链接源页。

优先快速和战术

优先技术SEO问题需要深入了解一个网站。过去，为了简单起见，我担心我们误导了你们中的一些人。我们试图给每一个问题一个优先级（高，中，或低），当困难的现实是什么是一个网站上的主要问题可能是故意和有用的另一个。

随着新的网站抓取，我们决定将抓取的内容从战术上讲，使用五桶：

临界爬行问题

履带式的警告

重定向问题

元数据问题

内容的问题

希望你已经猜到其中的一些包含。关键的问题还是反映出的问题，无论爬虫首先大多数网站，如5xx错误重定向到404s。履带警告表示可能的一些网站是很重要的问题，但需要更多的上下文，如meta noindex。

优先级往往取决于范围，太。所有其他都是相等的，一个500错误可能比一个重复页更重要，但是10000个重复页是不同的事。转到底部的网站抓取概述页，我们试图平衡优先级和范围，以目标你的前三个问题来修复：

向前迈进，我们将推出更智能的优先级，包括分组问题的文件夹，并添加数据可视化您已知的问题。优先级是一项艰巨的任务，一个我们没有帮助你做的，以及我们可以。我们将尽力改变。

新网站抓取更多页面的问题潜入并告诉我们你的想法！

所有现有的客户应该有机会访问新网站爬行截至今天早些时候。更好的是，我们已经抓取现有活动，几周的土狼的引擎，所以你有可用的历史从一开始！敬请关注博客明天有效优先网站抓取的内容，一定要登记为即将举行的研讨会。