以下是一些主要方法。 抓取监控 – 查看搜索引擎抓取了哪些 URL，并使用它来识别爬虫陷阱，提防浪费的抓取预算，并详细了解检测内容更改的速度。您可以理解它。。 状态代码报告 ——这在优先考虑错误纠正时特别有用。您无需知道这是 404，而是可以准确了解用户和搜索引擎访问您的 404 URL 的次数。 趋势分析 – 通过监控一段时间内对 URL、页面类型/网站部分或整个网站的爬网，您可以识别变化并调查潜在原因。 检测孤立页面 – 您可以通过交叉分析日志文件数据与您执行的网站爬网来检测孤立页面。 所有站点都可以在一定程度上从日志文件分析中受益，但是受益的程度根据站点的大小而有很大差异 。 这是一个日志文件，主要 帮助改进 网站的 爬网管理。 状态。您可以从对网站进行更改中受益。抓取预算管理是Google 本身比较大或频繁的事情。 这同样适用于分析日志文件。 例如，小型网站可以通过使用 Google Search Console 提供的“抓取统计”数据来享受上面列出的所有好处，而无需触及日志文件。 3-爬行统计.gif 是的，Google 并不提供所有已抓取的URL （例如日志文件），并且趋势分析仅限于三个。几个月的数据。 然而，不经常更改的较小网站对持续技术搜索引擎优化的需求较少。
让现场审核员发现并诊断问题可能就足够了
例如，网站爬虫、XML 站点地图、Google Analytics 和 Google Search Console 之间的交叉分析都可以发现孤立页面。 您还可以使用 Site Auditor 检测内部链接中的错误状态代码。 我指出这一点的主要原因是： 访问日志文件不容易获取 （接下来会详细介绍）。 对于不经常更改的小型站点，日志文件的好处可能没有那么大。这意味着您的 SEO 重点可能会 爱沙尼亚 WhatsApp 号码列表 转移到其他地方。 如何访问日志文件 在大多数情况下，要分析日志文件，您必须首先向开发人员请求访问日志文件。 在这种情况下，开发人员可能会遇到一些问题，用户将收到通知。这些包括： 部分数据 – 日志文件可能包含分布在多个服务器上的部分数据。当开发人员使用不同的服务器（例如源服务器、负载均衡器和 CDN）时，通常会发生这种情况。您可能需要编辑所有服务器的访问日志才能准确了解所有日志。 文件大小 – 高流量站点的访问日志文件即使不是 PB，也可能达到 TB，这使得它们难以传输。 隐私/合规性 – 日志文件包含个人身份信息 (PII)，包括您的 IP 地址。用户信息可能需要删除才能共享。 存储历史记录 – 由于文件大小的原因，开发人员可能将访问日志配置为仅存储几天，这使得它们对于识别趋势或问题毫无用处。 这些问题提出了存储、合并、过滤和转发日志文件是否值得开发工作的问题，特别是如果开发人员已经有一长串优先级列表（通常是这种情况）。 开发人员可能会将责任交给 SEO 人员来解释/构建为什么开发人员应该在这方面投入时间，并且它应该在其他 SEO 焦点中优先考虑。 这些问题 是日志文件不被频繁分析的原因。 从开发人员处收到的日志文件通常采用常见日志文件分析工具不支持的格式，这使得分析变得更加困难。 值得庆幸的是，有一些软件解决方案可以简化此过程。我最喜欢的 是Logflare 。
这 是一个 Cloudflare 应用程序
允许您保存日志文件 。您拥有的BigQuery 数据库 。 如何分析日志文件 现在是时候开始分析日志了。 我们将向您展示如何在 Logflare 上下文中具体执行此操作。但是，有关如何使用日志数据的提示适用于任何日志。 随时可共享的模板适用于任何日志。只需 香港电话号码表 确保数据表列匹配即可。 1.首先设置Logflare（可选） Logflare 很容易设置。与 BigQuery 集成还可以确保长期数据保留。您拥有自己的数据，并让每个人都可以轻松访问这些数据。 有一个问题。 您需要替换域名服务器才能使用 Cloudflare 并在那里管理您的 DNS。 在大多数情况下，这很好。但是，如果您使用的是企业级站点，则不太可能说服您的服务器基础架构团队更改名称服务器以简化日志分析。 它没有提供如何让 Logflare 工作的每一步。但要开始使用，只需转到仪表板的 Cloudflare 应用程序部分。 接下来，搜索 Logflare。 从现在开始，设置是不言自明的（创建帐户、命名项目、选择要发送的数据等）。我建议阅读的唯一附加部分是Logflare 的 BigQuery 配置指南。 不过， 请记住，BigQuery 的成本取决于您运行的查询和存储的数据量。边注。BigQuery 后端的一大好处是 这是关于拥有您的数据。