前情回顾机器学习100天|Day1数据预处理100天搞定机器学习|Day2简单线性回归分析搞定机器学习100天|Day3多元线性回归搞定机器学习100天|Day4-6逻辑回归100天搞定机器学习|Day7K-NN100天搞定机器学习|Day8逻辑回归数学原理100天搞定机器学习|Day9-12支持向量机100daystogetmachinelearning|Day11KNN100天搞定机器学习|Day13-14SVM实现100天搞定机器学习|Day15NaiveBayesian100天搞定机器学习|Day16ImplementationofSVMthroughkerneltechniques100daysgetmachine学习|Day17-18神奇逻辑回归100天搞定机器学习|Day19-20加州理工公开课：机器学习与数据挖掘Day21，Avik-Jain学习了Be的使用教程用于网络爬行的autiful汤。网络爬虫是一种按照一定规则自动抓取万维网上信息的程序或脚本。通俗地说，就是模拟用户在浏览器上的操作，自动从特定网站中提取对自己有价值的信息。主要通过查找域名对应的IP地址、向该IP对应的服务器发送请求、服务器响应请求、回传网页内容、浏览器解析网页内容四个步骤来实现。BeautifulSoupBeautifulSoup提供了一些简单的Pythonic函数来处理导航、搜索、修改解析树等。它是一个工具箱，通过解析文档为用户提供他们需要抓取的数据。因为简单，不需要太多代码就可以写出一个完整的应用程序。BeautifulSoup自动将输入文档转换为Unicode编码，并将输出文档转换为UTF-8编码。你不需要考虑编码方式，除非文档没有指定编码方式，那么你只需要解释原来的编码方式即可。BeautifulSoup已经成为像lxml和html6lib一样出色的Python解释器，为用户提供了提供不同解析策略或强大速度的灵活性。https://www.crummy.com/softwa...需要声明的是，爬虫是一项非常复杂的技术，需要完整的知识体系。技术体系：数据采集、数据存储、动态网页爬取、APP爬取、验证码破解、模拟登录、代理试用、爬虫框架、分布式爬取等。目前主流的网络爬虫工具是python，涉及库和工具：网络爬取：urlib、requests、aiohttp、Selenium、Splash网页分析：re、lxml、BeautifulSoup、pyquest数据存储：JSON、XML、CSV、MySQL、MongoDB、RedisWeb组件：Flask、Tornado处理反爬虫：Tesserocr、ADSLProxy、ProxyPool、PookiesPoolAPP爬虫：Charles、mitmproxy、mitmdump、Appium爬虫框架：pyspider、Scrapy、Scrapy-Redis、Scrapy-Splash管理部署：Docker、Scrapyd、Scrapyd-API、Scrapyd-Client、Gerapy数据挖掘从业者学习爬虫更多是出于数据分析的需要，但爬虫本身也可以发展成职业，两个高级爬虫工程师的工作职责很容易被砍掉。我的建议是：如果你不是爬虫工程师，就不用研究太深。推荐一个免费的爬虫入门课程给有兴趣且时间充裕的同学：
