人生苦短，能很快上手Python网络爬虫，也能尽快上手，但真正掌握起来确实需要一些时间，要达到爬虫工程师的水平还需要煞费苦心.接下来分享的学习路径是给小白的，可能是刚学Python网络爬虫的朋友。学习网络爬虫可以分为三个步骤。高手请直接上，蟹~~第一步，初接触Python网络爬虫，一定要先过一遍Python最基础的知识，比如：变量，Strings，lists，dictionaries，tuples，控制句、语法等，打下坚实的基础，让你做案例时不会感到困惑。基础知识可以参考廖雪峰的教程，非常基础，通俗易懂，新手也能很快上手。另外，你还需要了解一些网络请求的基本原理，网页结构（如HTML，XML）等。inPython），学习别人的爬虫代码，跟着别人的代码走，看懂每一行代码，一定要自己去实践。只有这样，你才能学得更快，理解得更多。很多时候我们很高兴，认为我们会这样做，然后我们就不愿意开始了。事实上，当我们开始时，我们会漏洞百出。最好每天坚持敲代码，找点感觉。推荐选择Python3作为开发工具，因为2020年Python2将停止维护，未来Python3肯定是主流。IDE可以选择pycharm、sublime或者jupyter等，小编推荐使用pychram，因为它非常友好，有点类似于java中的eclipse，而且非常智能。在浏览器方面，学习使用Chrome或FireFox浏览器来检查元素，并学习使用它们来抓包。另外，在这个阶段，你还需要了解主流的爬虫工具和库，比如urllib、requests、re、bs4、xpath、json等，一些常用的爬虫结构如scrapy必须要掌握，这个结构就是挺简单的，初学者可能会觉得难以抗拒，但是当抓取的数据量非常大的时候，你就会发现它的妙处了~~第三步，你已经有了爬虫的想法了是时候自己动手了，锦衣该吃饭了，可以独立设计爬虫系统，多找网站练习。需要掌握静态网页和动态网页的爬取策略和方法，了解JS加载的网页，了解selenium+PhantomJS模拟浏览器，知道如何处理json格式的数据。如果网页是POST请求，要知道必须传入data参数，而这种网页通常是动态加载的，所以需要掌握抓包方法。如果要提高爬虫的效率，就得考虑是用多线程，多进程还是协程，还是分布式运行。小白做到这三步就好了。事实上，网络爬虫的路径远不止于此。当你学完这些，你会发现，山还是高的。之后可能会遇到爬虫结构、数据库、大型爬虫的应用。你还需要了解分布式、消息队列、增量爬取、常用数据结构和算法、缓存，甚至机器学习的概念。、数据挖掘和分析。希望新手们能尽快上手，一起努力学习Python！如果想深入了解Python网络爬虫和数据挖掘，可以去专业网站：http://pdcfighting.com/
