相信很多小伙伴在爬虫中经常会遇到“您的请求过于频繁，请稍后再试”这时候莫名的慌了。爬虫代码完全没有问题，但是为什么突然爬不起来了呢？那么，很有可能你的爬虫被识破了，轻则友好警告，重则将IP锁进小黑屋。那么，我们应该怎么做呢？有人说用代理IP来应对各种不满。是的，使用代理IP确实是解决问题的好方法。如果IP被封了，换个新的IP继续爬，或者用很多IP在多个线程同时爬，很厉害。于是，爬虫们使用了代理IP，重新组合继续爬取，但是好景不长，爬了半天提示“您的请求过于频繁，请稍后再试”。如果你再换IP，还是会被封，再换IP，被封的速度越来越快，效率很低。为什么是这样？那是因为你使用的代理IP刚好被其他人用来访问同一个网站，而且使用频率更高。这种情况一般发生在免费代理IP、普通代理IP或者开放代理IP，以及一些IP池比较小的共享IP池上。很多朋友总觉得詹师的IP池太大了，我用不了那么多，岂不是浪费？你能给一个更小的IP池并降低价格吗？这种想法是错误的。如果IP池小，用户多，项目冲突的概率会更大。所以我们在寻找代理IP的时候，IP池越大越好，同时保证IP的效率。这样就可以保证IP的新鲜度。除了更大的共享IP池可以缓解或避免这种情况外，专属IP池和一手私人代理也是不错的选择。专属IP池一人独享，不会有人与你冲突。控制每个IP都在目标网站设置的阈值之内，这样IP就不会因为频繁访问而被封杀；一手私人代理实行项目隔离，每个人做不同的项目，互不干扰，互不冲突。这样也可以避免和别人的项目冲突，遇到这种错误的几率很小。所以，当你遇到“你的请求过于频繁，请稍后再试”时，不要慌张，保持冷静，检查一下你的爬虫策略，访问是否真的过于频繁，检查一下你的代理IP是不是真的更干净了。调整自己的策略，选择更纯的IP，可以有效避免这个错误。
