如何解决搜索爬虫高频次抓取导致服务器崩溃的问题 首先声明一点，如果网站能够承受爬虫的高频次访问，那是一件好事，这样有利于网站页面收录，提升网站来自搜索的访问量。但一旦承受不了，我们可以进行如下的操作。...