求Python常用库和小众库推荐的库。是爬虫必备的库。它是众所周知的,用于发起get和post等请求。可以看作是python3中url库的继承者。BeautifulSoup库是爬虫必备的库,名气也很大。它用于解析html代码并从中提取有用的数据。一般推荐配合lxml解析库使用。如果某些代码遇到解析问题,您可以尝试改用html.parser库。tqdm库可以作为进度条显示程序执行的进度,比如爬虫日志。但是注意在windows命令行中无法实现peerrefresh,每次都会输出一个新行,所以不推荐使用。(powershell下没试过)peewee库对数据库模型非常有用,当然你也可以直接使用sqlalchemy库。我个人认为这个库比后者更容易学习,可以使用命令行在模型类和数据库表结构之间一键导入导出。Arrow库是个人最好的时间转换库,强烈推荐。各种格式都支持,api的可读性也很好,方便切换前后N天N周。PIL库是python最好的图形处理库。我只用它来进行图像裁剪、转换和拼接。据说可以实现逐像素修改、检测、计算等,在图像识别领域也有很多用途。OpenPyxl是我个人最喜欢的office文档处理库,处理excel非常方便。不过好像不太适合大批量处理数据。大批量推荐pandas库直接加载csv文件。Jsonlines库可用于微信小程序开发。微信云开发使用的是json行格式,是json的一种变体。转换还是有点麻烦。你必须自己写。使用它可以节省一点时间和精力。PyPinyin库用于将汉字转换为拼音。需要自己写一个函数,将转换后的拼音拼接在一起。否则就是一个字一个拼音数组形式。
