本文转载自公众号《阅读核心》（ID：AI_Discovery）这些流行且非常有用的Python库。从数据采集、清洗和转换，到数据可视化、图像识别和网页关联，这15个Python库涵盖范围广泛，本文将一一介绍。想必其中一些你已经很熟悉了，但如果你还不知道，强烈建议你一定要好好看看。数据收集大多数数据分析项目都是从数据收集和提取开始的。在某些情况下，公司可能会在为公司处理现有问题时提供相关数据集。但是有时候，可能没有现成的数据，需要数据工程师自己去收集。最常见的情况是数据工程师需要自己从网上找数据。1.Scrapy图片来源：letleslearnabout如果你想写一个Python网络爬虫从网页中提取信息，Scrapy可能是大多数人第一个想到的Python库。例如，用户可以提取某个城市所有餐厅的评论，或者收集某个在线购物网站上某个产品的所有评论。该库最常见的用途是用它来识别出现在网站页面上的有趣信息模式，无论该信息是URL还是XPath形式。一旦这些信息的模式被整理出来，Scrapy就可以帮助用户自动提取需要的信息，并组织成表格或JSON格式的数据结构。Scrapy可以使用pip轻松安装。2.Selenium图片来源：mediumSelenium的设计者的初衷是将其打造为一个自动网站测试框架，但开发者发现将其用作网页数据抓取工具效果更好。Selenium通常在用户已经与感兴趣的站点进行交互后派上用场。例如，用户可能需要在网站上注册一个帐户，登录到他们的帐户，然后单击几个按钮或链接才能找到他们想要的内容。上面的链接被定义为一个JavaScript函数。这种情况下使用Scrapy或者BeautifulSoup可能不是很方便，但是使用Selenium可以轻松完成这个过程。但应该注意的是，Selenium的运行速度比普通的抓取库慢得多。这是因为Selenium会初始化像Chrome这样的浏览器，并模拟浏览器代码定义的所有行为。因此，在处理URL模式或XPath时，最好使用Scrapy或BeautifulSoup，除非万不得已，否则不要使用Selenium。3.BeautifulSoup图片来源：gitconnectedBeautifulSoup是另一个可以用来收集网站内容的Python库。业内普遍认为，学习BeautifulSoup所需的时间比学习Scrapy所需的时间要短得多。此外，BeautifulSoup更适合规模相对较小的问题或一次性任务。Scrapy需要用户自己开发“爬虫”，通过命令行进行操作，而使用BeautifulSoup只需要将其功能导入电脑即可在线使用。因此，用户甚至可以将BeautifulSoup应用到自己的Jupyternotebook中。数据清洗和转换数据清洗和转换的重要性无需赘述，已经有很多优秀的Python库可以完美处理这个问题。作者会选择几个作为数据科学家或分析师必须知道的，做一个简单的介绍。4.Pandas在这里提到Pandas可能有点多余。只要是处理过数据的从业者，不可能不用Pandas。用户可以使用Pandas来操作Pandas数据框中的数据。Pandas还拥有大量的内置函数来帮助用户进行数据转换。不用说，Pandas是学好Python必不可少的。5.Numpy图源：medium无论是普通用户、数据科学家还是分析师，Numpy和Pandas一样，都是不可或缺的Python库。Numpy将Python的对象列表扩展为一个综合的多维序列。同时，Numpy还内置了大量的数学函数，可以满足用户几乎所有的计算需求。通常，用户可以使用Numpy序列作为矩阵并执行矩阵运算。笔者认为，大多数数据科学家开始写Python代码的时候，第一步都是输入：importnumpyasnpiimportpandasaspd因此，说上面两个库最受Python用户欢迎也无可厚非。6.Spacy图片来源：mediumSpacy名气可能没有前两个库大。Numpy和Pandas主要用于处理数值数据和结构化数据，而Spacy可以帮助用户将自由文本转换为结构化数据。Spacy是最流行的自然语言处理库之一。从购物网站爬取了大量的商品评论后，需要从中提取有用的信息，以便对其进行分析。Spacy包含了大量的内置函数，可以为用户的工作提供很多帮助。示例包括词法分析器、命名实体识别和特定文本检测。Spacy的另一个优点是它支持多种语言版本。其官方网站声称该图书馆提供超过55种语言的版本。数据可视化数据可视化是数据分析中不可或缺的环节。只有将结果可视化，才能解释数据内容。7、Matplotlib源码：scriptverseMatplotlib是最全面的Python数据可视化库。有人认为Matplotlib的界面丑陋，但笔者认为，作为最基础的Python数据可视化库，Matplotlib能够为用户的可视化目标提供最大的可能性。使用JavaScript的开发者也有自己偏好的可视化库，但是当涉及到的任务涉及大量高级库不支持的自定义函数时，开发者就必须使用D3.js。Matplotlib也是如此。8.Plotly图片来源：pngitem虽然笔者坚信数据可视化必须掌握Matplotlib，但大多数情况下读者更愿意使用Plotly，因为使用Plotly只需要写最少的代码就可以得到最丰富多彩的图像。无论您是要构建3D表面地图、基于地图的散点图，还是交互式动画地图，Plotly都能在最短的时间内满足要求。Plotly还提供了一个SheetStudio，用户可以在其中将自己的可视化效果上传到在线存储库以供将来编辑。数据模块化从事模块化的数据分析师通常被称为高级分析师。如今，机器学习并不是一个新概念。而Python被普遍认为是机器学习最常用的语言，因此也有大量优秀的库支持其在Python中的使用。9.ScikitLearn来源：kindpng在沉迷“深度学习”之前，每个人都应该从ScikitLearn开始自己的机器学习之旅。ScikitLearn有六个主要模块，功能如下：数据预处理降维数据回归数据分类数据聚类分析模型选择只要你会用好ScikitLearn，你就已经可以算是一个优秀的数据科学家了。10.TensorflowTensorflow是谷歌推出的开源机器学习库。它最受欢迎的功能是Tensorboard上的数据流图。Tensorboard是一个基于网页自动生成的dashboard，将数据学习流程和结果可视化，对于故障排除和展示非常有用。11.PyTorch图片来源：mattolpinskiPyTorch是Facebook发布的开源库，用作Python的公共机器学习框架。与Tensorflow相比，PyTorch的语句更适合Python。正因为如此，学习使用PyTorch也变得更加容易。作为一个专注于深度学习的库，PyTorch也有非常丰富的API函数和内置函数来帮助数据科学家更快地训练自己的深度学习模型。音频和图像识别机器学习不仅可以处理数字，还可以帮助处理音频和图像（视频通常被认为是将许多帧图像放在一起）。因此，在处理这些多媒体数据时，上述机器学习库是远远不够的。12、OpenCV图像源：opencvOpenCV是最常用的图像视频识别库。毫不夸张地说，OpenCV让Python在图像和视频识别领域完全取代了Matlab。OpenCV提供了多种应用程序编程接口，不仅支持Python，还支持Java和Matlab。OpenCV出色的处理能力使其在计算机行业和学术研究中都广受好评。13.Librosa来源：githubLibrosa是一个非常强大的音频和声音处理Python库。Librosa可以用来从音频片段中提取节奏、节拍、节拍等部分。使用Librosa后，只需几行代码即可轻松实现像Laplacia分割这样极其复杂的算法。WebPython在被广泛应用于数据科学领域之前，曾是Web开发的宠儿。因此也有很多用于Web开发的库。14.Django来源：Django一直是amsterdam使用Python开发web服务后端的最佳选择。Django的设计理念是用几行代码就可以搭建一个网站的高层框架。Django直接连接到大多数知名数据库，因此用户可以节省连接建立和数据模型开发的时间。Django用户只需关注业务逻辑，无需担心被创建、更新、检索和删除（CURD）操作，因为Django是一个数据库驱动的框架。15.Flask源码：pythonprogrammingFlask是一个轻量级的Pythonweb开发框架。它最有价值的特点是可以轻松定制以满足任何需求。有许多著名的Python库和提供网站UI的Python工具都是使用Flask构建的，例如PlotlyDash和Airflow。这些网站之所以使用Flask，是因为其轻量级的特点。诚然，还有许多其他优秀的Python库值得一提，但上述库足以让你研究一段时间。人生苦短，赶快制作Python吧！
