每当页面内容发生更改时设置此属性，以通知 Google 重新抓取。 提示 请注意，Google 提供了有关此属性的混合反馈。2015 年，加里·伊利塞斯 (Gary Ilysses)表示，这一问题在很大程度上被忽视了。2017 年，约翰建议正在使用它。最近，在 2022 年，加里说：“我们不会使用它。” Google 的 XML 站点地图文档 建议使用此属性。但是，如果不准确，则会被忽略。 9. 查找孤立的 URL 使用日志文件的另一种方法是查找孤立 URL，即您希望搜索引擎抓取和索引但未内部链接的 URL。 为此，请检查Ahrefs 的站点审核中是否有 200 个没有内部链接的状态代码 HTML URL。 看一下我为此创建的名为“孤立 URL”的报告。 这里有一个警告。Ahrefs 尚未发现这些网址，但 Googlebot 已发现，因此这些网址无法编入索引，并且可能不是您想要链接到的网址。 为 Ahrefs 项目设置爬网源时，我们建议使用“自定义 URL 列表”功能来复制和粘贴这些 URL。 这将导致 Ahrefs 考虑在日志文件中找到的孤立 URL，并在下次爬网期间报告任何问题。 10.按目录监控爬行 假设您已经实现了描述您如何配置站点的结构化 URL（例如，/features/feature-page/）。 在这种情况下，您还可以根据目录分析日志文件，看看 Googlebot 是否比其他部分更多地抓取您网站的某些部分。
我们在 Google 表格的“目录
概述”选项卡中实施了此类分析。 您可以看到，我们还包含有关目录内部链接数量和总有机流量的数据。 您可以使用它来查看 Googlebot 是否花费更多时间来抓取低流量目录而不是高价值目录。 但是，请注意，这种情况可能会发生，因为某些目录中的 格鲁吉亚 WhatsApp 号码列表 某些 URL 比其他目录中的 URL 更改得更频繁。不过，如果您发现奇怪的趋势，则值得进一步调查。 除了此报告之外，如果您想按目录查看网站的抓取趋势，还可以使用“目录 – 抓取趋势”报告。 11.查看Cloudflare缓存率 转到 CF 缓存状态选项卡可查看 Cloudflare 在边缘服务器上缓存文件的频率的概述。 当 Cloudflare 缓存您的内容（上图中的 HIT）时，请求不再发送到您的源服务器，而是直接从其全球 CDN 提供服务。这改善了核心网络生命力，特别是对于全球网站。边注。在源服务器上设置缓存（Varnish、Nginx FastCGI、Redis 全页缓存等）也是值得的。这样，即使 Cloudflare 不缓存您的 URL，您仍然可以从缓存中受益。 如果您看到大量“未命中”或“动态”响应，我们建议您进一步调查以了解 Cloudflare 不缓存您的内容的原因。
常见原因包括
链接到包含参数的 URL – Cloudflare 默认为 缓存过期时间太短 – 设置较短的缓存过期时间可能会导致更多用户收到未缓存的内容。 不预加载缓存 – 如果缓存需要频繁过期（因为内容经常更改），请使用预加载机器人，而不是强迫用户访问未缓存的 URL。 准备一个缓存，例如Optimus 缓存预加载器。 边注。 在源服务器上设置缓存（Varnish、Nginx FastCGI、Redis 全页缓存等）也是值得的。这样，即使 Cloudflare 不缓存您的 URL，您仍然可以从缓存中 伊朗 电话号码列表 受益。 这可以通过自动平台优化轻松完成。 12. 查看哪些机器人爬行您网站的次数最多 最终报告（位于“机器人 – 概述”选项卡上）将向您显示哪些机器人对您的网站的爬行效果最好。 机器人 – 抓取趋势报告可让您了解这些趋势如何随时间变化。 此报告可帮助您了解您的网站爬虫程序活动是否有所增加。如果您最近进行了重大更改（例如URL 迁移），并且想要查看您的机器人是否增加了爬网次数以收集新信息，那么它也很有用。数据 概括 您现在应该很好地了解了在审核站点时可以使用日志文件执行的分析。我希望您发现使用我的模板可以轻松地自行进行此分析。 作者简介 您是否正在对日志文件执行一些我没有提到的独特操作？ 请给我发推文。 萨姆·安德伍德 Sam Underwood Sam Underwood 是一位私人顾问，他帮助电子商务公司通过页面 SEO、技术 SEO 和内容策略来增加核心收入。