添加 Ahrefs 数据 如果您有网站审核员，我们建议您向 Google 表格添加更多数据。主要需要添加以下内容： 有机流量 状态码 爬行深度 可转位性 内部链接数量 要从Ahrefs 站点审核中获取此数据，请在页面浏览器 中选择管理列。 接下来，我们建议添加如下所示的列。 然后导出所有数据。 然后将其复制并粘贴到“Data – Ahrefs”表中。 6.查看状态码 首先要分析的是状态码。该数据揭示了搜索机器人是否在非 200 个 URL 上浪费了抓取预算。 请注意，这并不一定表明存在问题。 在某些情况下，Google 可以抓取旧的 301 多年。但是，如果您在内部链接大量非 200 状态代码，这可能会突出问题。 状态代码 – 摘要选项卡 提供查询功能，可汇总日志文件数据并以图表形式显示结果。</span> 还有一个下拉列表可以按机器人类型进行过滤，并查看哪些机器人命中的非 200 状态代码最多。 当然，仅此报告并不能帮助您解决问题，因此我们添加了另一个名为“URL – 概述”的选项卡。
如果您看到很多指向您的
您可以使用它来过滤返回 200 以外状态代码的 URL。我们还包含了Ahrefs 网站审核的数据，以便您可以了解您是否内部链接到这些非 200 个 URL 中的任何一个。“链接”栏。如果您看到很多指向您的 URL 的内部链接，您可以使用“内部链接机会”报告来查找这些虚假 法国 WhatsApp 号码列表 内部链接。只需将 URL 复制并粘贴到搜索栏中并选择目标页面即可。 7. 检测抓取预算浪费 对于不是由于使用 200 以外的状态代码进行爬网的日志文件，突出显示浪费的爬网预算的最佳方法 是经常查找它们。已爬网的不可索引 URL（例如，规范化或未索引）。 查找这些 URL 很容易，因为我们添加了来自日志文件和 Ahrefs 站点审核的数据。 如果您转到“浪费的抓取预算”选项卡，您会发现高度抓取的 HTML 文件返回 200 但无法编制索引。 现在您已经有了这些数据，请调查机器人抓取该 URL 的原因。常见原因包括： 内部链接。 错误地包含在 XML 站点地图中。 包含来自外部站点的链接。 对于大型网站（尤其是具有分面导航的网站）来说，具有指向许多不可索引 URL 的内部链接是很常见的。 如果此报告的点击量非常高，并且您认为浪费了抓取预算，则可能需要删除该 URL 的内部链接或阻止抓取。 使用robots.txt 。
常见原因包括
8.监控重要的URL 如果您的网站上有一个非常重要的特定 URL，您可能需要检查搜索引擎抓取该 URL 的频率。 URL 监视器选项卡就是这样做的，它可以绘制最多五个可以添加的 URL 的每日点击趋势。 您还可以按机器人类型进行过滤，这样您就可以轻松监控 Bing 或 Google 抓取您的网址的频率。 边注。您还可以使用此报告查看最近重定向到您的 URL。只需将您的 印度尼西亚 电话号码列表 旧网址和新网址添加到下拉列表中，即可查看 Googlebot 注意到变化的速度。 这里的建议是，如果 Google 不经常抓取您的网址，那是一件坏事。这根本不是真的。 Google 倾向于更频繁地抓取流行的 URL，而不经常更改的 URL可能会被抓取较少。一个> 尽管如此，当您需要快速检测内容（例如新闻网站的主页）的更改时，以这种方式监视 URL 仍然很有用。 事实上，如果您发现 Google 频繁重新抓取您的网址，我们建议您执行一些操作，例如添加 <lastmod> 来帮助您更好地管理抓取速度。转到 XML 站点地图。它将如下。