老铁们，一年一度的520来了，你是不是在挠头给女朋友准备礼物？作为一名业余非专业程序员（ps：自称程序员，哈哈），最近开始学习python，并用它从lovetalk网站上抓取了100页情话，作为送给女朋友的第二个小礼物。由于本人是小电机，属于自学初学者。高手算了，别喷了。程序比较简单，可以用于个人测试。下面进入正题：目标：从指定网址抓取100页情话练手网站准备：python：3.7版本，开发工具：pycharm，浏览器：谷歌浏览器思路：通过requests+xpath抓取网页，并提取信息不管网站有没有反爬策略，最简单的带头方式就是用上层循环写入一个txt文件，把主要代码写成一个函数，封装几个关键点：注意到网页的编码格式。一般来说，你可以结合response.encoding和response。要观察的标题。如果headers中没有Content-Type，则编码为encoding='utf-8'；如果有Content-Type，则以charset为准，如果没有charset，则为ISO-8859-1观察网页结构，确定如何编写程序实现翻页，网址在此比较简单，直接加上序列号+1就可以了。关于是用beautifulsoup还是xpath，酌情使用。这里我直接用xpath定位，比较方便。最终结果：得到100页的爱情故事，保存在一个txt文件中。主要代码结果输出后期方案改进：准备将数据写入数据库用flask框架搭建网站准备实现词云效果，类似下面。嗯，我的文笔不强，也不知道该写什么。最主要的是分享和乐趣。哦，对了，小大大什么都喜欢研究。本账号无意写垂直领域。主要是分享生活，交朋友。当然，如果你愿意点赞关注，那我们就是更好的朋友了。哈哈，记得关注哦！
