提到“爬虫”总有一丝玄机，大家都戏称“爬虫写的好，老饭吃饱了”。虽然是“高危职业”，但在大数据泛滥的时代，对爬虫和反爬虫的需求正在急剧增加。他们的关系就像矛和盾。越来越多的企业制造“长矛”发动攻势获取数据。;或者建立一个“盾牌”来阻止信息。在这种情况下，很多工程师可能会被公司要求去学习爬虫技术和反爬虫的思想，从而更好的保护自己和自己的业务。而且爬虫和反爬虫的斗争越来越疯狂，环境越来越恶劣。现在深陷其中的工程师不得不面临以下问题：如何保护自己，是否存在有效的生存法则？反爬虫的手段有哪些，什么时候使用最好？面对爬行动物的各种伪装，我们如何才能准确识别它们呢？如何才能在这个领域立足??并向上发展？不过说实话，爬虫和反爬虫的数量不多，有些已经过时了。甚至可以说，现在网上能找到的爬虫方法都有反爬策略。那么如何才能提高反爬的效率，开辟反爬的新思路呢？我的经验，关键是两点，“思维提升→实战案例的掌握”，我举个例子分析一下：很明显，这个案例来自《反爬虫兵法演绎 20 讲》专栏，作者很有意思，而且引用了很多业务场景的真实故事，讲述了爬虫和反爬虫工程师的“生存法则”（划重点，这个很重要）；还提炼了10+反爬虫难点的排查思路，以及经典实用的“反爬虫攻略”，从思维层面开阔你的眼界；最后配合“实战”深入理解爬虫与反爬虫理论，高效反爬。讲师是“DSHunter”，是目前一线大厂的前端负责人（具体保密，大家都知道）。但是在反爬虫领域，他绝对是一流的专家，你能感受到他专栏的深度。他的反攀爬风格独树一帜。他不仅擅长长期潜伏，而且攻击的角度和时间也不易被发现；他还可以利用技术和心理双重攻势直接击败或说服对手。竞争对手无法获取自己的任何数据，甚至可能影响后续的合并。其实网上的反爬文章并不多，而且大多数做反爬的人都不愿意分享。毕竟，欺骗技术就像魔术一样。一旦被扎破，就完全没有技术含量了。但是他毫无保留的把自己的想法分享出来，让大家接触和学习，这真的是花多少钱都买不来的。这个类可谓是一股清流，另辟蹊径。不仅讲了反爬虫的套路，更侧重于培养思维。从“发帖爬虫历史→反爬虫基础理论→反爬虫技术介绍”构建了完整的反爬虫知识框架：作为骨灰爬虫和反爬虫的主体，我可以很负责任的说，这个内容设计的非常系统和固体。此外，专栏还分享了一张“反爬虫从业者层级图”，告诉你如何从一个新手成长为爬虫领域的内驱专家，一步步成长为架构专家乃至团队负责人。步。第一层：注意如何区分每只具体的爬虫，最好有人手把手教。第二层：可以主动识别一个未知的爬虫，即使你在网上找不到方法，你也可以自己创造一个方法来识别它。第三层：更加注重系统设计，拓展相关知识。第四层：更关注如何组建团队。第五层：一切都不再是问题。这时候返璞归真，发现最关键的是如何识别爬虫。于是专心搜索这方面的知识。本专栏虽然是从反爬虫的角度出发，但是作者进行了两方面的分析。基本上，你可以在学习反爬虫的同时了解爬虫。最重要的是“独立”案例，从“想法”开始。就像是在告诉你如何做反爬，如何碾压对手，我们有多厉害。但是现在回想起来，我好像什么都不记得了。就像解一道数学题，不能死记硬背，但要理清解题思路，举一反三。反爬没有固定的公式，直接实战想象的局限性是巨大的。战场瞬息万变，被几个实战例子困住实在是得不偿失。有句话说得好，“技术手段差不多，但使用方法更要紧”。做反爬其实和打仗差不多。有时需要闪电出击，有时需要退缩示弱。我们必须记住不要打无意义的战争。除了获得各种技术，我希望你能通过这门课程，学会这个东西，并将其应用到工作和生活中，那就是：“我就是要站起来挣钱”。（转载自极客时间）
