在这个数据时代，数据是极其重要的东西。我们如何才能捕获完整和全面的数据？这不是一件容易的事。要想做好大数据的分析工作，单靠自身的力量或周边的数据是不够的，还需要借助“神秘的外力”。这个时候互联网上的资源就非常关键了，从互联网上爬取数据资源就成了至关重要的一个环节。那么网络爬虫到底是什么？网络爬虫也叫网络蜘蛛，或者WebSpider，这个名字很形象。如果把互联网比作蜘蛛网，那么WebSpider就是一只在网上爬来爬去的蜘蛛。网络蜘蛛通过网页的链接地址来搜索网页。他们从网站的某个页面（通常是首页）开始，阅读网页内容，找到网页中的其他链接地址，然后利用这些链接地址找到下一个网页。继续下去，直到整个网站的所有网页都被爬取。如果把整个互联网看成一个网站，那么网络蜘蛛就可以利用这个原理来抓取互联网上的所有网页。只是听起来很有趣，那么这项技术可以做什么有趣的事情呢？小编随机抽取了一些朋友的回答，大家感受一下~~@冰蓝前在北京买房，谁要价格开始疯狂增长，以及链家房价等数据的数据分析只给了一小部分，远远不能满足我的需求。于是我晚上花了几个小时写了一个爬虫，把北京所有的小区信息，北京所有小区的所有历史交易记录都爬了下来。@陈乐园发现安卓QQ和iOSQQ可以显示网络状态（2G/WiFi）后，突然想到，这好像可以监测某人的出行和作息规律。简单点说，家里或者上班，一般都有WiFi，然后出门WiFi就断了。如果监控频率足够频繁，再结合一定的推理，就可以大致推断出一个人的行为。如果长时间监控，可以大致介绍一个人的作息时间。@柳易汉我用爬虫爬的。我爱白菜网，超值分享，发现值得买，惠惠购物，今日超值，留着你，买家党，没有比较，慢慢买，牛杂网，买便宜货，什么值得买，馅饼里天空、一分网、折扣800值得购买、超值等网站折扣信息。这些网站提供了一些及时且具有成本效益的产品。很多时候，每个网站（重度用户）都得去看看，很容易错过一些性价比很高的产品。@罗利松夫斯基我的爱人是一家互联网公司的销售人员，需要收集各种业务信息，然后打电话。于是她就用采集脚本抓了一堆数据给她用，同事们每天自己搜索整理，一直到半夜。看了techstream网友的评论，我发现网络爬虫好像是一把双刃剑。它不仅可以方便人们抓取数据，节省大量的时间和精力，但同时也会带来负面影响，严重的甚至可能导致犯罪。哦！无论做什么，都要把握好尺度，因为技术是无辜的，人们可以利用它的便利来造福自己。如果使用不当，它会自我毁灭。在生活和工作中，每个人都应该谨慎行事，请与法律边缘的事物保持距离。在此，小编温馨提醒大家，技术是个好东西，但是一定要用对方法哦~~
