目前，我国还没有出台专门针对网络爬虫技术的法律规定，但在司法实践中，相关判决屡见不鲜。K哥专门开设了一个专栏“K哥爬虫普及法”。本栏目分析真实案例，旨在提高广大爬虫工程师的法律意识，合法合规使用爬虫技术，警钟长鸣，做一个守法护法的人,和有原则的技术人员。案例介绍2018年10月，北京市公安局海淀分局支援大队接到辖区某互联网公司报案，发现有人在互联网上出售疑似该公司用户信息。警方根据这条线索迅速展开侦查，乔达科技（北京）有限公司非法窃取信息的犯罪事实逐渐浮出水面。2019年3月，乔达科技被查获，涉案员工被警方依法拘留。目前，从公开资料中未查到本案判决文书。民警发现，与正规招聘网站由用户自行上传简历不同，乔达科技的简历库全部采用非法手段抓取。“犯罪嫌疑人绕过招聘网站的服务器防护策略，通过大量代理IP地址、伪造设备标识等技术手段窃取了服务器上存储的用户数据。”网安总队民警李文涛表示，将不同网站窃取的信息重新合并、整理、同名或不完整的信息“重新比对”，形成一份完整的简历和用户画像。一位前乔达科技员工向燃财经讲述了爬虫获取简历的手段。乔达在智联、猎聘等网站建立了数千个企业账户，每天访问智联、猎聘网站数百万次，都是机器模拟人的操作。该员工称，去年他离开乔达之前，乔达还在使用爬虫获取简历。据悉，乔达科技非法获取2亿多份简历。公司根据这些数据，开发了“72招聘浏览器”，将其简历库以每年1.38万元的价格出售给有需求的企业客户。客户可以直接在浏览器上检索简历信息。据办案民警介绍，乔达科技窃取数据期间，因传输数据量大，举报公司服务器中断数十次，影响数千万用户正常访问，造成严重后果。经济损失。据网上曝光的一份乔达资料显示，该客户的业务合作BP（商业计划书）。本文件声明：乔达科技拥有38款B端招聘产品，超过170万名招聘用户，乔达科技数据库拥有2.2亿份自然人简历，简历总量37亿份。此外，乔达科技拥有超过10亿个通讯录，并掌握了相关的社会关系、组织关系、家庭关系数据。结合从外部获取的简历、通讯录等超过1000亿条用户数据，乔达科技号称拥有超过8亿自然人的认知数据。也就是说，超过57%的中国人的信息都在乔达科技的数据库里。文件显示，乔达科技将这些数据用于教育培训、保险、招聘等行业。某大型房地产公司、某职业教育培训机构、某分类信息网站、多家招聘网站在本文件中被列为典型案例。案件。数据业务为乔达科技带来了不菲的收入。2016年乔达科技全年营收1.2亿元，净利润0.48亿元；2017年乔达科技全年营收4.11亿元，净利润1.86亿元，净利率超过45%。此外，这份商业计划书中有5个单独的页面描述商业合规性，表明数据从3种途径获取，乔达科技声称合法获取：1.自有招聘网站：求职者用户直接授权，包括简历中的敏感和非敏感数据；2、招聘工具类产品：HR/猎头用户授权，包括简历中的敏感和非敏感数据；3.第三方数据来源：来自合作伙伴的授权，包括用户ID组合、联系人、行为标签和偏好配置文件。乔达科技获取数据后，对简历、用户ID组合、通讯录中的敏感数据进行MD5脱敏，将简历中的非敏感数据、行为标签、偏好画像等一并入库。数据通过建模计算，结合用户的认知引擎，最终提供给客户。乔达科技提供的多项服务均面向个人用户。无论是通过自身渠道还是第三方渠道，未经用户同意、违背用户意愿的数据交易均属于对用户信息的非授权使用，可能侵犯用户隐私。反思总结我们知道普通用户在招聘网站上是看不到别人的简历的，所以乔达科技建立了上千个企业账号。通过企业账号，您可以在网站上看到发件人或所有求职者的完整简历，这是正常的。这也是完全合法的，重点是乔达科技利用爬虫技术，利用数千个企业账号，大量检索获取招聘网站的简历数据，并且在未经求职者本人同意的情况下，将原始数据及其众多未经授权的关联数据经过合并处理后，开放给第三方进行交易，获取巨额利润。这项业务的合法前提：首先，必须有求职者本人的授权。即使乔达科技通过自有招聘门户网站合法获取求职者的简历，对用户信息的使用也必须限于求职者提交简历的目的。为求职者直接推荐工作机会以外的其他违背用户意愿的行为，属于擅自使用用户信息，侵犯用户隐私。二、乔达科技从第三方获取求职者简历数据。第三方需要合法获取求职者的简历，同时获得求职者的公开、转卖简历的许可。其获取、购买、再利用求职者简历数据的行为不合法。我们还注意到，乔达科技在获取数据的过程中，由于爬取的数据量较大，导致举报公司服务器中断数十次，影响了数千万用户的正常访问，造成了严重的经济损失.在K哥之前的案例《【k哥爬虫普法】程序员183并发爬取官方网站，直接获刑3年？》中介绍过，里面的反思总结也适用于这个案例。个人用户的隐私数据不能被触及。这句话已经说了上千遍了，更何况求职者的简历中包含着大量个人和前公司的隐私和商业信息。了解规则，尊重法律，利用爬虫技术获取信息。您应当严格遵守有关法律、行政法规和部门规章。否则，您很容易陷入“非法获取”公民个人信息的法律风险范畴。还值得一提的是，智联、猎聘、boss直聘等平台涉及求职者个人隐私信息，应注意客户信息保护。知品老板前段时间因为一些原因被删了。对求职者个人用户信息的下载和获取设置严格的权限，对企业客户的注册进行严格审核，对求职者大量获取简历的行为进行严格监控和反制。背景，官方应及时介入。乔达科技之所以能够在这些平台上设立数千个企业账号，毫无顾忌地大批量检索、抓取、下载简历，无疑与平台监管机制的缺失密不可分。
