Google解释了“抓取预算”对网站管理员的意义

作者:北宫憾遒

来自谷歌的Gary Illyes写了一篇名为What Crawl Budget Means for Googlebot的博客文章。在其中,他解释了爬网预算是什么,爬网速率限制如何工作,爬网需求是什么以及哪些因素会影响网站的抓取预算。首先,加里解释说,对于大多数网站来说,抓取预算并不值得担心。对于非常大的网站,它需要考虑一下。 “优先考虑抓取内容,何时以及托管网站的服务器可以分配多少资源进行抓取对于更大的网站或基于网址参数自动生成网页的资源更为重要,”Gary说。以下是发布内容的简短摘要,但我建议阅读完整的帖子。博客文章继续解释哪些因素会影响抓取预算,然后提供有关该主题的一些常见问题解答。....