目前，我国还没有出台专门针对网络爬虫技术的法律规定，但在司法实践中，相关判决屡见不鲜。K哥专门开设了一个专栏“K哥爬虫普及法”。本栏目分析真实案例，旨在提高广大爬虫工程师的法律意识，合法合规使用爬虫技术，警钟长鸣，做一个守法护法的人,和有原则的技术人员。案例介绍。为开发运营“Kumike”APP（提供实时公交查询服务），龟尾公司与公交公司达成合作，在公交车上安装定位器，获取公交车实时位置数据。龟尾公司采集的实时数据，不仅用于久米克APP的运营，还提供给深圳市交通委。深圳市通信委员会根据信息化建设工作，将实时数据提供给深圳市北斗应用技术研究院进行研究工作。经深圳市交通委同意，深圳市北斗应用技术研究院向远光公司“车来来”（提供公交实时查询服务）APP应用开放深圳公交电子站牌数据测试接口。深圳公交电子站牌数据测试接口数据包括谷米公司采集的公交实时数据。不过，与谷米直接从定位器获取的实时数据相比，谷米向深圳市交通委提供的数据存在一定的延迟。2015年11月左右，邵凌双和C，为增加远光公司在中国市场开发的智能公交APP“车来来”的用户数量和信息查询的准确率，保证公司更好的管理之后，邵玲双指使C某某，指使公司员工L某某、L某某、某某某等人利用网络爬虫软件，从包括龟尾公司在内的敌对公司的服务器上获取公交车行驶信息、到站时间等实时数据。ZXX负责编写爬虫软件程序；lXX负责在爬虫程序中不断更改IP地址，使用更改后的IP地址获取数据，以防止远光公司检测到；LXX负责编写程序，利用LXX设置的不同IP地址和Z编写的爬虫程序向龟尾公司发送数据请求，爬取了智能公交APP“Kumike”的大量实时数据由龟尾公司开发，平均每天生产300万到400万件。起初，Z没有成功破解“Kumike”客户端的加密算法，于是C聘请了其他公司的技术人员，帮助破解了Gumi的APP的加密系统，使得L、L、Z某公司成功爬取了大量来自龟尾公司服务器的实时公交车行驶数据。爬取的数据直接被远光公司使用，提高了该公司智能公交APP“车来来”的准确率。龟尾公司认为，远光公司通过技术手段非法获取其海量数据，构成不正当竞争，遂提起诉讼，请求判决：1、远光公司立即停止获取和使用龟尾公司实时公交位置数据。2、远光公司、邵玲双等五人共同赔偿龟尾公司经济损失3000万元；3、共同赔偿龟尾公司合理维权费用100万元；、腾讯等网站及《深圳特区报》、《楚天都市报》主页在显着位置发表声明，公开致歉；5、共同承担本案的全部诉讼费用。本案的核心争议在于数据抓取是否属于不正当竞争行为？破解加密算法的行为是否构成非法获取计算机信息系统数据罪？法院认为，龟尾公司是“Kumike”软件的著作权人，享有软件中所含信息数据的占有、使用、收益和共享的合法权益。未经谷米公司许可，任何人不得非法获取本软件的后台数据用于商业运营。其次，远光公司未经谷米公司许可，利用网络爬虫技术进入谷米公司服务器后台非法获取数据，数据来源不合法。其三，远光公司将爬取的数据用于同质化产品，是一种“不劳而获”、“吃人发胖”的行为。非法侵占他人无形财产权益，破坏他人在市场上的竞争优势，为自己谋取竞争优势。主观故意，违反诚实信用原则，扰乱竞争秩序，构成不正当竞争行为。法院综合考虑了远光公司获取的数据范围、侵权持续时间、获取的数据量等因素，判决远光公司赔偿古米公司经济损失及合理维权费用共计50万元。邵令双、CXX、LXX、LXX、ZXX违反国家规定，采用其他技术手段获取计算机信息系统存储的数据。情节特别严重，其行为已构成非法获取计算机信息系统数据罪。.判决：1、邵凌双犯非法获取计算机信息系统数据罪，判处有期徒刑三年，缓刑四年，并处罚金人民币十万元。2、C犯非法获取计算机信息系统数据罪，判处有期徒刑二年，缓刑三年，并处罚金人民币5万元。三、L犯非法获取计算机信息系统数据罪，判处有期徒刑一年六个月，缓刑二年，并处罚金人民币4万元。4、L犯非法获取计算机信息系统数据罪，判处有期徒刑一年四个月，缓刑二年，并处罚金人民币3万元。五、Z犯非法获取计算机信息系统数据罪，判处有期徒刑一年四个月，缓刑二年，并处罚金人民币3万元。裁判文书参考：https://aiqicha.baidu.com/wen...案例分析互联网时代，数据爬取极为普遍。所谓爬取数据就是按照一定的规则自动从互联网站点获取数据。伴随爬虫技术的另一个概念是“机器人协议”（网络爬虫排除标准）。通过爬虫技术可以访问和收集Internet站点上的大量信息。为了维护互联网秩序，尊重信息提供者的意愿和隐私，信息提供者可以在自己的站点设置机器人协议，告诉爬虫哪些信息是提供者不想要的。被抓取。机器人协议是国际公认的互联网领域通用标准，但其性质在法律上并未明确规定，因此一般被视为“君子协议”。除了设置机器人协议外，信息提供者还可以对自己的系统或数据采取一定的技术保障措施。采取技术保障措施后，爬虫可能无法顺利爬取相关数据，或者爬取到的数据需要解密才能使用。本案中，法院判决并未提及机器人协议，但远光破解了谷米APP的加密系统。观点一：按照robots协议公开爬取数据，原则上不构成不正当竞争。根据现行惯例，未被机器人协议排除的数据是互联网上的公共数据，任何人都有权访问和收集。因此，在遵守robots协议的前提下公开爬取数据，原则上不会侵犯信息提供者的权益，也不构成不正当竞争。反之，如果您违反机器人协议，强行抓取他人数据，则可能被视为违反诚信和商业道德，构成不正当竞争。观点二：破解信息提供者设置的抓取数据的技术措施，可能构成不正当竞争。信息提供者设置此类保障措施的目的有很多，例如认为所涉及的信息属于机密或公开抓取可能会影响网站或应用程序造成占用，影响系统的正常运行等。无论出于何种目的，既然信息提供者对自己的系统或数据设置了安全措施，就意味着信息提供者不希望他人爬取数据。其最终效果与机器人协议一致。因此，破解信息提供者为爬取数据而设置的技术措施，也可能被认为构成不正当竞争。从谷米诉远光案的判决中可以看出，法官并未提及机器人协议，但不可忽视的事实是，远光公司破解了谷米公司“Kumike”APP的加密系统，进而成功抓取到实时公交车数据，这个事实是本案的关键事实。加密系统的存在说明远光公司爬取的数据不是公开信息，也就是说远光公司获取信息的手段是非法的，进而导致远光公司爬取数据用于自家APP的行为被认定为非法竞争行为。基于龟尾公司所诉侵权行为发生在现行《反不正当竞争法》实施之前的事实，龟尾诉远光案法官适用修改前的《反不正当竞争法》第二条作为认定依据。.现行《反不正当竞争法》第十二条规定应当优先适用。根据第十二条规定，利用爬虫技术，无论是否遵循机器人协议或者破解信息提供者设定的技术措施，只要爬取数据的行为妨碍或破坏其他经营者合法提供的网络产品或服务的正常运行，就可能构成不正当竞争。不适用第十二条规定的，适用现行反不正当竞争法第二条的规定认定不正当竞争行为。观点三：破坏信息提供者为抓取数据而设置的技术措施，可能构成非法获取计算机信息系统数据罪。刑法第285条规定：违反国家规定，侵入国家事务、国防建设、尖端科技信息系统领域的计算机的，处三年以下有期徒刑。年或拘役。违反国家规定，侵入前款规定以外的计算机信息系统或者采用其他技术手段获取计算机信息系统存储、处理、传输的数据，或者对计算机信息系统实施非法控制的，情节严重的，处三年以下有期徒刑或者拘役，并处或者单处罚金；情节特别严重的，处三年以上七年以下有期徒刑，并处罚金。虽然“入侵”与爬虫类常见的逆向有着本质的区别，但法官们通常并不这么认为。本案中，破解信息提供者设置的技术措施，获取计算机信息系统中的数据，属于违法犯罪行为，实施数据爬取行为的从业人员均被认定构成非法获取计算机信息系统数据罪（广州市南山区）人民法院：（2017）0305刑初153号）。总结爬虫中常见的逆向技术，在法庭上通常被认为是入侵。即便两者存在本质区别，基于此前的法律法规，法官也只能定性为侵扰。这样的例子很多。这是一个已经存在多年并可能持续多年的问题。只能期待相关法律法规完善的那一天了。另外，爬虫工程师需要注意不正当竞争。如果其产品与爬取数据的目标产品是同质产品，则容易被认定为破坏他人在市场上的竞争优势，具有为自己谋取竞争优势的主观故意，违反诚信原则，扰乱秩序的竞争，构成不正当竞争。
