超级新谷歌指数?服务器错误和排名影响

作者:仲崦

任何搜索引擎优化专家都会告诉你,一个网站上的服务器错误(定义为5xx范围内的状态代码)应该最小化。一般来说,如果搜索引擎无法访问某个页面,用户就无法访问该页面虽然服务器停机时间是有时需要实施修复和更新网站,确保正确处理服务器停机并提供503响应 - 但不会太长但服务器错误究竟是如何影响网站的搜索引擎优化的?服务器错误对搜索引擎的可见性和排名有什么影响?在2015年初,新鲜指数的影响开始出现我们的团队收集了5xx错误的数据并评估了关键字排名影响令人吃惊,特别是500个内部服务器错误和503个服务不可用错误当遇到500响应时,页面可以立即从排名中退出当遇到503响应时,影响不会立即发生,并且需要始终返回503响应以从排名中删除页面并可能被取消索引(一到两周就开始影响)以下为三个案例研究显示了服务器错误对搜索排名的影响:通过间歇性,这意味着一个特定的URL有时会返回200个成功或500个内部服务器错误发生了500个错误由于服务器不稳定,每天抓取的网页等抓取统计信息显着下降这导致间歇性网页的排名发生负变化50 0错误这些页面在我们的搜索引擎优化团队抓取时大多会返回200个成功响应,但不常发生的500内部服务器错误仍然会发生有趣的是,错误无法与Merkle的专有爬虫等爬虫相同程度地复制,“Scalpel”或其他抓取工具但是,Google会通过Google Search Console(GSC)抓取错误报告报告这些错误尽管SEO会尝试使用抓取工具模拟Google抓取工具,但这些结果表明很难复制谷歌抓取的确切方式开始此问题的实现是使用Angular JavaScript开发的单页面应用程序(SPA)同时在多个抓取线程中抓取Google,如果这些线程同时在SPA中请求不同的文件/ URL(例如多个方面)在给定的类别中),然后服务器可能间歇性地失败记录影响:服务器错误大大增加了抓取统计数据对于返回错误的页面,谷歌遭受了负面影响,排名随后遭遇排名在间歇性500响应中,Bing排名变化没有立即影响:Google:Bing:排名没有变化Google Search Console的屏幕截图Google Search Console的屏幕截图来自BrightEdge关键字跟踪工具随着上面的BrightEdge图表传达,第一页上排名的关键字数量在一周内从大约9K关键字转移到6K关键字这些排名变化导致Google流量巨大损失Bing没有受到影响对于这个特殊情况研究,有机流量减少了大约25%,这对底线有直接影响由于Angular JavaScript实施的持续问题,这些服务器错误持续了几周一旦服务器错误消退(服务器不稳定性由域解决) ),排名和流量返回对于某种页面类型,对Googleb有500个错误回复在大约18个小时的过程中发生了请求爬行日志传达这些页面在这段时间内一直返回500错误,但不知道确切地说每个页面返回多长时间此错误对于跟踪的关键字,域名将在任何地方降低从5个位置到100个位置,具体取决于域名中是否存在其他相关页面如果有类似的页面,并且Google选择对其进行排名,那么下降幅度不会太大(~5到20个位置),正如Google会考虑的那样域名仍然与查询相关有趣的是,Google会对页面进行排名并不是用户正在寻找的页面,但它仍然认为域名与查询相关如上所述,类似页面不会排名为谷歌这样做的原因尚不清楚,但这是观察到的行为 记录的影响:此方案显示,对于所有239个跟踪查询,排名靠前的页面发生了变化所有这些页面都报告为在停机期间返回500个内部服务器错误这些关键字使用BrightEdge进行跟踪因为BrightEdge对其进行了多次分析在产生平均排名的那一周,18小时的停机时间足以将整个一周的排名最高的页面报告转移到三个月的过程中,一个域名在半频率的基础上返回了针对某些页面类型的503个服务不可用响应。 domain已经开发了一个带有AJAX的SPA框架,当SPA主机文件无法支持对文件变体(或在这种情况下,facets)的多个请求时,它将开始超时。在这种情况下,我们能够复制体验使用我们的抓取工具我们的抓取工具会遇到大量的503响应,以及连接超时虽然连接超时可能会混淆调查结果,但它们不是与503s相比,其数量几乎相同。此外,GSC报告了503个回复。值得注意的是,GSC没有报告连接超时的机制。记录影响:在503错误飙升的一段时间内,第1页丢失了大约1K个关键词GSC报告的平均3K错误平均为25-30K错误在此期间,这些页面没有任何改进,大多数其他因素在网站上保持不变因此,随着时间的推移503错误对其产生了直接的负面影响排名情况3确实与John Mueller在6月初对服务器错误的评论相吻合:如果它们持续时间更长并且看起来不再是临时问题,我们倾向于从索引中删除这些URL(直到我们可以正常重新抓取它们)还有一个很好的机会,这些URL被放入队列中,比传统的爬网缓存周期的爬行频率更快地被抓取,但是这个声明还没有被确认谷歌的索引和排名现在经常更新,以至于500内部服务器错误响应几乎可以立即影响排名503服务不可用的响应可能会影响排名随着时间的推移这两个5xx错误都会减少谷歌机器人抓取你网站的时间没有标签,似乎Google在逐页的基础上有一个非常新鲜的索引逐页概念直接与最近的移动算法更新有关,以及如何分析/更新移动友好性它通常在随着时间的推移服务器错误的搜索引擎优化可能会损害域名的排名可能仍然如此,但现在有一个逐页的元素,以及长话短说,服务器停机时间(即503响应)是不好的,如果它继续太长了,当页面响应500内部服务器错误,当他们应该提供不同的标题响应时,不建议Pierre Far在服务器停机时有一个很好的细分目前还不清楚这个“非常新鲜”有多长索引一直存在我们确实有2014年夏天的数据传达了类似的服务器错误实例,对页面特定的排名没有影响谷歌在2014年秋季对爬网预算做了评论,以及当服务器错误发生时如何限制抓取但是没有没有提到它会如何影响索引或排名可能已经预示着将要发生的事情在2014年7月的某个星期,域名的503服务不可用错误从2K错误飙升到72K错误对每天爬行的页面的影响和SERP排名?无每天抓取的高,平均或低页面绝对没有变化在服务器错误激增后的两周内,每天抓取的平均页面实际上增加了9%此外,任何报告页面的排名都没有变化服务器错误与示例3中记录的2015年2月的经验不同,此服务器错误问题在很长一段时间内没有导致谷歌受到限制或排名影响值得注意的是,谷歌有时会扼杀其爬行时间至少可追溯到2012年当遇到5xx响应时,但它并不像现在那样立即根据证据,Google现在在遇到服务器错误时更快地限制其爬行对于大型企业站点,强烈建议工程团队考虑加载SPA的数量当Google在主机网址中请求大量子文件时,将需要处理 是否需要从基本URL进行服务器端重写?如果它们很多,如果没有预期和处理负载,则可能导致服务器错误如上所述,如果页面发生500内部服务器错误,Google正在查找并排名来自同一域的类似页面,如果它可以找到它请注意,“类似”页面可能会出现在较低的排名中为什么谷歌会这样做?通常情况下,页面不是用户想要查找的内容,Google会在500或503之后多久返回?它是否在一个单独的队列中,在比传统的爬网缓存周期更短的时间内再次被爬网?是咖啡因更新还是不同类型的服务器错误新鲜索引更新?无论哪种方式,影响是真实的,可以立即在本文中表达的意见是客座作者的意见,....