1.爬虫简介爬虫是一种帮助我们在网上找到妹子的照片或者视频，并下载到本地的技术emmm……好像有点跑题了，百度百科解释说爬虫是一种程序或者根据一定规则自动抓取万维网上信息的脚本。通俗地说，爬虫就是客户端（浏览器、手机等）发送请求，接收服务器响应，获取目标数据的过程。包括但不限于图片、数据、音频、视频等。那么就是一个持久化（数据存储）的过程。爬虫的应用与我们的日常生活息息相关，比如我们最常用的百度搜索、谷歌搜索；查找产品的历史价格；数据网站，例如公众号、抖音、小红书类似的数据分析网站；投票应用，通过一些渠道收集选票和点赞等。2.爬虫是否违法？看这算不算心寒，老老实实上班写爬虫，经常加班不加薪，怎么还有牢狱之灾？事实上，北京乔达科技所有涉及简历数据业务的员工，因为爬虫被请去喝茶的例子，确实有很多。公司办公室也被没收。杨先生研究AI人工智能已有10多年。通过大量模型，他开发的识别验证码的技术越来越强。结合凭证库，获取了大量的各个平台的账号和密码。这些数据然后通过非法手段变现。有兴趣的可以上网搜索一下。被誉为国内首例利用人工智能作案的案件。上海某科技公司CEO张某、联席CEO&产品经理宋某、CTO侯某破解北京某公司反爬措施，长期从北京数据库爬取数据。再次，受害单位损失技术服务费2万元。最终，以非法获取计算机信息系统数据罪判处被告人20万元罚款，被告人张某等四人被判处九个月以上一年以下有期徒刑，并处罚金不等。从三万元到五万元。.看完以上案例，你是不是瑟瑟发抖？事实上，爬行动物并没有被法律禁止。但是，如果使用爬虫获取数据，确实存在一定的违法风险。这就像我们在生活中使用的刀具。切水果蔬菜还好，但如果用刀故意伤人，性质就不一样了。如何规避爬虫的风险？1.遵守Robots协议。机器人协议也被称为君子协议，就像过马路，遇到红灯，我们都知道要停下来。但是你硬要闯红灯，谁也拦不住。同样的，Robots协议就是标明哪些内容你不能爬取，但非要爬取你也无能为力。所以叫君子协定，全看开发商的自觉性了。机器人通常放置在网站的根目录下。比如我需要查看淘宝的Robots协议，在浏览器中输入https://www.taobao.com/robots.txt可以看到如下内容：User-agent:BaiduspiderDisallow:/User-agent:baiduspiderDisallow:/可以看到淘宝已经规定禁止百度的爬虫（Disallow）爬取这里的任何内容。京东的Robots.txt协议https://www.jd.com/robots.txtUser-agent:*Disallow:/?*Disallow:/pop/*.htmlDisallow:/pinpai/*.html?*User-agent:EtaoSpiderDisallow:/User-agent:HuihuiSpiderDisallow:/User-agent:GwdangSpiderDisallow:/User-agent:WochachaSpiderDisallow:/可以看到京东不希望EtaoSpider、HuihuiSpider、GwdangSpider、WochachaSpider这四个爬虫爬取网站内容.其他的爬虫，我不要你去爬/?*,/pop/*.html,/pinpai/*.html?*这三个目录的内容2.控制爬虫的频率如果没有限制你的爬虫的频率爬取某个网站，瞬间请求大量访问服务器，必然会增加服务器的压力。一旦服务器瘫痪，这种行为就类似于网络攻击。所以，你的产品，你的小心产品……《刑法》第286条还规定，违反国家规定，删除、修改、增加或者干扰计算机信息系统的功能，导致计算机信息系统发生故障的、后果严重，构成犯罪的，处五年以下有期徒刑或者拘役；后果特别严重的，处五年以上有期徒刑。违反国家规定，对计算机信息系统中存储、处理、传输的数据和应用程序进行删除、修改、增加，造成严重后果的，也构成犯罪，依照前款的规定处罚。3.隐私和敏感信息不要触摸我们平时访问的技术论坛中的文章，或者招聘网站上的一些公司信息。这些是公共内容，可以放心地进行抓取。但是如果通过某些渠道爬取别人的隐私敏感信息。这是违法行为，更不用说利用这些数据牟利了。《网络安全法》第四十四条：任何个人和组织不得窃取或者以其他非法方式获取个人信息。因此，如果爬虫在未经用户同意的情况下大量抓取用户的个人信息，则可能构成非法收集个人信息的违法行为。4.违背每个人的意愿为知识付费的概念由来已久。如果通过付费账号爬取付费内容，内容提供者将失去对内容的控制权，自身的利益也会丧失。3、爬虫的矛与盾爬虫的存在，所以很多网站都会有一定的反爬虫措施。就好比每家每户都装上门锁，防止外人闯入你家。有的锁可能是PDD几块钱的同款锁，有的锁可能要几十块钱，有的是安装的。防盗门。常见的防爬措施有哪些？请求头（Headers）/User-Agentrestriction---PDD同这个是最基本的反爬虫措施。比如浏览器会从你的请求头中得到Rederer（上级链接），判断这个请求是来自浏览器的。请求仍然是机器请求。User-Agent是用户访问网站时的浏览器标识。在以上两种方式中，我们可以通过封装请求头或者User-Agent对象来破解IP限制和访问频率限制。通过判断某个IP或者访问频率来判断是否属于正常行为，我们可以通过搭建代理池的方式进行爬取，或者在每次请求之后，有一定的时间间隔爬取登录或者验证码限制一些数据到只能被登录用户爬取，否则在爬取过程中会弹出验证码检查。魔高一丈，高一尺。可以使用模拟登录或者接入第三方编码平台进行验证码识别Ajax动态加载有的网站为了躲避爬虫，会在加载网页源代码后在浏览器中执行JS程序，然后获取内容到通过异步渲染的JS代码显示。对于这种反爬策略，最简单粗暴的方法就是使用Selenium。JS加密携带请求时js算法生成的加密参数。如果我没记错的话，网易云音乐用的就是这种反爬策略。这种情况下，你可以调试js代码，分析其逻辑实现，让你的爬虫按照同样的逻辑生成加密参数。互害型有些网站不得不佩服，它检测到你是爬虫程序，不仅不禁止你访问，还装作不知道，然后返回错误的数据给你。好像在和爬行动物说话
