爬虫工程师工资20K起步。当然，因为大数据，薪资也会一路上涨。那么，Python需要学到什么程度呢？今天我们就来看看3位学长的回答。1.前段时间快毕业了，不想找老工作做Java开发，所以面试了很多Python爬虫岗位。因为我是在南京上学的，所以一开始只是在南京投了简历。我面试了十几家公司，只有一家没有给我发offer。其他公司愿意给我10K的薪水。别拿南京的工资水平。对比一下北京、上海、深圳的薪资水平，结合面试中经常被问到的问题类型，谈谈我的体会。***要点：Python因为面试是Python爬虫岗位，所以大部分面试官都会考查面试者的Python基础知识，包括但不限于：Python2.x和Python3.x的区别Python装饰器Python异步Python一些常用的内置库，例如多线程。第二点：数据结构与算法数据结构与算法是面试官非常看重的一点，尤其是学校招生面试。当然小公司也不会太在意这些，从目前的招聘情况来看，面试官对数据结构和算法的重视程度与公司的质量是成正比的。对于那些从不问你数据结构的人，你要小心他们是不是把你当码农了。当然，上述情况并非如此。当然，最终解释权在面试官。第三点：Python爬虫最重要最关键的一点当然是你与Python爬虫相关的知识和经验储备。这通常是面试官考察的重点，包括但不限于：你是否使用了过多的线程和异步？除此之外，你还用过哪些其他的方法来提高爬虫的效率呢？你做过增量爬虫吗？你了解Python爬虫框架吗？第四点：爬虫相关的项目经历。另外，面试官也会非常关注爬虫相关的项目：你做过哪些爬虫项目？如果有Github***你觉得你做过最好的爬虫项目是哪一个？其中解决了哪些问题？它有什么特别之处？地方？以上是我在面试过程中会遇到的一些技术相关问题的总结。当然，面试不光是技术方面的，对于做技术的人来说，技术方面之后，基本就是薪资问题了。可能有人会问我现在在哪家公司做爬虫开发？很抱歉，最后我放弃了在南京的所有机会，去了上海做了我最喜欢的职位：数据工程师。2.让我给你一些我的经验。初级：网络基础：cookie、session、https、headers中常用的字段、proxy的使用等请求如何处理https、常见的反爬措施，比如最难爬的过程之一，scrapy的使用详解，比如proxy、cookie、参数传递等。数据库：数据库操作、合并表等。中级：网络：网络层的几层细节，比如udp/tcp/smtp的区别，10.x.x.x/127.x.x.x/192.x.x.x的区别，讲DNS，讲路由交换机的区别python：多重继承，多态，单例的装饰器实现，数组/生成器/列表解析效率等深入细节爬虫：分布式爬虫的实现，给你一个任务马上给你一个合理的架构，验证码处理，增量数据爬取，写爬虫的时候有没有写辅助工具？数据库：sqlnosql详细信息、性能。加分点：数据挖掘，机器学习，自然语言处理，会写网站，熟练操作linux，github小星星3。首先说说Python。爬虫感觉对Python编程的知识要求不高。确实，懂基本的数据结构和语句，会写函数好像就OK了。业余时间爬取一些数据是可以的，但你正在寻找一份成功的爬虫工程师的工作。扎实的编程基础不足以编写函数。Python的高级特性，面向对象编程，多线程，装饰器等等，你至少要了解一点。现在很多爬虫工程师的面试中，编程的基本功还是很高的。对编程的知识和对语言的理解，在一定程度上可以显示你的学习能力和发展潜力。你必须对爬虫技术HTTP有深刻的理解，这是你纵横网络的基础；BeautifulSoup和xpath是基本操作，一定要很熟练；你必须会使用Scrapy框架，你必须会手写一个分布式爬虫；Webdriver、Selenium、PhantomJS至少要会用；反爬虫技术是最重要的，你能不能把数据拿回来，能把数据拿回来多少很大程度上取决于这个。抓包、cookie分析、代理池搭建、字体加密、验证码处理等都是常规操作；当然，数据库也是必不可少的。一般企业至少需要一种SQL和一种noSQL。了解布隆过滤器并逐步爬取。加分点：掌握一些Pythonweb相关的东西，能够进行后端开发；掌握数据分析或数据挖掘技能，能够建立算法模型，进行分析和预测。今天的聊天就到这里！
