【Python解答】爬虫爬取过程中常见小问题梳理

现在写爬虫，入门不再是高门槛。网上的教程很多，但是很多新手爬虫还是遇到了这样那样的问题。今天整理了一些新手在爬取过程中遇到的问题，希望能为大家提供一些解决问题的思路和参考。01中文无法正常显示？使用requests库或urllib库获取源码时，无法正常显示中文；r=requests.get('http://xxx')printr.text在使用requests解析中文网页时，上面的语句在ipython中总是打印乱码……试过如下代码：importsysreload(sys)sys.setdefaultencoding('utf8')和类似的：r.text.decode('coding1').encoding('coding2')不能用！解决方案①requests库中有两种文本。一种是文本类型，使用text属性，另一种是针对音频、视频、图片等二进制数据类型，使用content属性。一般text属性返回时会出现中文乱码，所以返回输出前需要显示的修改属性编码，可以指定为“utf-8”或apparent_encoding。②urllib库中的文本只有一种，就是使用read()方法读取。所以，要解决中文问题，必须在读取后加上.decode("utf-8")，转码显示后就不会出现了。乱码问题。02加密问题爬虫一般是怎么解决加密问题的？①对于网页来说，加密算法一般都是用js代码写的，所以首先要懂js语言。起码知道js的基本内容，其次找到对应的js加密代码，再找出关键函数。在node.js环境中调试js代码，最后使用execjs库在Python环境中执行调试好的代码。②模拟浏览器环境直接获取渲染数据。最常见的方法是使用Selenium框架。这种方法很方便，当然相应的缺点就是效率很低。但是现在有一个新的框架来替代Selenium，就是Puppeteer，大家可以看到是Selenium的一个异步版本。对于一个爬虫程序，一个通用的公式：爬虫程序=网络请求+数据分析+数据存储这三部分对应了这个爬虫的基础，任何一个爬虫程序都会保存这三部分的内容，一些复杂的爬虫不过如此在此基础上增加一些其他内容。爬虫工程师的反爬能力再强，他的爬虫强度也一样高。03获取不到网页的所有代码？问题：通过请求方式获取的网页代码与浏览器中看到的网页源代码不一致；解决方法：由于很多网页的数据传输都是通过js命令传给网页的，所以不能使用request()方法获取js信息代码传递过来的数据。这时，通过使用selenium库模拟浏览器的操作，就像真实用户在操作一样，通过这种方法就可以得到网页的源代码。fromselenium.webdriver.support.waitimportWebDriverWaitbrowser=webdriver.Chrome()browser.get(Url)html=browser.page_source04点击下一页时，网页保持不变。问题：在爬取过程中，由于爬取了每一个律师详细信息对应的URL，所以涉及到翻页的问题，但是在网页上实时点击下一页时，发现网址没有改变。解决方法：使用selenium中的nextpagebutton.click()方法模拟跳转到下一页，从而获取下一页的内容。nextpagebutton=browser.find_element_by_xpath('//*[@class="next_page"]')#定位到“下一页”按钮nextpagebutton.click()#模拟点击下一页wait=WebDriverWait(browser,10)#BrowseServerwait10s05文本节点问题先看两段HTML代码，这是你眼中的HTML代码：这是计算机眼中的HTML代码：解决方法：在BS4中，我们看到的换行符和空格在HTML中都是NavigableString是文本节点。06如何快速找到提取的数据？解析网页时，如何快速找到数据存放的位置并提取数据？这是很多新手都会遇到的问题；也就是虽然我的代码跑起来没问题，逻辑大概也能看懂，但是想修改爬取类似的网站或者同一网站的其他数据的时候不知道从何下手。这其实是因为你不熟悉工具的使用；在这里简单介绍一下(beautifulSoup)的常用使用技巧，当然它还有很多强大方便的功能。这里只介绍几个常用的功能，这几个功能用好几乎可以搞定所有的网站。首先，在爬取之前，需要定位到数据所在的标签。在F12开发者工具中使用这个按钮，点击按钮，再点击网页，可以快速定位到页面中对应的标签。这一步我就不细说了，很简单，大家自己摸索吧。接下来介绍如何使用代码获取那个标签；首先你观察你要找的标签，是什么标签？有没有class或者id之类的属性（如果没有就找它的父标签，尽量找这样的）因为如果用class和id这两个属性作为过滤条件的话，发现的干扰项很少。运气好的话，基本上是一击必中。这里有beautifulSoup中的两个函数，find和find_all函数；例如，当我们要获取上图中箭头指向的id为ozoom的div标签时，我们可以这样做：#html为上次请求获取的网页内容bsobj=bs4.BeautifulSoup(html,'html.parser')#获取id为ozoom的div标签#根据id查找标签div=bsobj.find('div',attrs={'id':'ozoom'})#继续获取div下class为list_t的div标签#根据class查找标签title=div.find('div',attrs={'class':'list_t'})注意：如果标签有id属性，试试要使用idlookup，因为整个页面id是唯一的。如果用class来搜索，最好在浏览器的网页源代码中用Ctrl+F搜索，看看有多少个是同一个class的标签。（如果比较多，可以先尝试找到它的父标签，缩小范围再搜索）然后说说find_all函数，适合一次搜索一个类型的多个标签，比如下图的情况List中的每一个li标签都是一条数据，我们需要全部获取。如果我们使用前面的find函数，一次只能得到一个li标签。所以我们需要使用find_all函数一次获取所有符合条件的标签，将它们存储为数组并返回。由于li标签没有id和class，页面上有很多不相关和干扰的li标签，我们需要先从它的父标签往上查找，缩小查找范围。找到id为titleList的div标签后，观察里面的li标签都是需要的，可以使用find_all函数一次性获取。#html为要抓取的目标页面内容html=fetchUrl(pageUrl)bsobj=bs4.BeautifulSoup(html,'html.parser')pDiv=bsobj.find('div',attrs={'id':'titleList'})titleList=pDiv.find_all('li')基本上结合了find和find_all的功能，熟练的话几乎可以搞定所有的html网页。07获取标签中的数据找到标签后，如何获取标签中的数据呢？数据在标签中的位置一般有两种情况：

ThisisdataThisisthedata