目标网站:美子图(点进去别忘了回来~~)项目功能:批量下载本站相册姊妹项目:批量抓取、下载头条视频启动项目命令npminpmstart配置文件//配置relatedmodule.exports={originPath:'http://www.mzitu.com',//请求地址savePath:'E:/meizi',//存储路径maxPage:20//可抓取的最大页数}技术要点axios:发起get请求,获取页面和图片流//获取页面asyncgetPage(url){return{res:awaitaxios.get(url)}}//将获取的文件写到本地awaitaxios({method:'get',url:imageSrc,responseType:'stream',headers}).then(function(response){response.data.pipe(fs.createWriteStream(fileName))})Cheerio:涵盖jQuerydom的一些核心API,以及可以操作获取的文档对象//res.data:获取的文档对象letlist=[]const$=cheerio.load(res.data)//获取文档中的所有相册$('#pinslia').children().each((index,item)=>{letalbum={name:item.attribs.alt,//专辑名url:item.parent.attribs.href//专辑地址}list.push(album)})fs.createWriteStream:保存图片到本地createWriteStream(文件名))})爬取结果截图显示,本爬虫仅供个人学习使用,如有侵权,将立即删除!
