当前位置: 首页 > 后端技术 > Node.js

?金块小册子抓取器

时间:2023-04-03 10:52:53 Node.js

github仓库欢迎star使用nodehttps模块获取购买的小册子html代码,并将html代码转换为markdown格式文件保存在本地。注:本项目目前有两个版本,v2不需要使用chromium作为无头浏览器;v1使用chromi作为无头浏览器模拟用户登录网站;根据需要选择不同版本的v2:latestv1不再维护:使用releasev1方法??注意:掘金不支持海外网络访问,所以不要使用代理方法1:直接执行npx,在本地目录下执行npx@oliyg/juejinxiaoce按提示输入用户名、密码和小册子ID当提示全部完成?Desktopnpx@oliyg/juejinxiaocenpx:98安装成功,耗时10.748秒email:输入你的用户名和密码password:输入你的用户名和密码bookId:BookletID===导航到主页===登录...====获取图书章节列表===获取图书HTML内容常见面试技巧===写html...===获取书籍HTML内容===写html文件成功===写markdown...===写markdown文件成功前路,让我们一起走===写html...===写html文件成功===writingmarkdown...===writemarkdownfilesuccess======AllDone...Enjoy.======在执行命令的目录下,可以找到一个名为md的文件夹xxx,里面包含md文件;在上面的例子中,我们在Desktop桌面目录下执行命令,所以在桌面目录下会生成这个文件夹:?md1548483715543ls-altotal40drwxr-xr-x4olistaff12812614:22.drwx------+9oli员工28812614:21..-rw-r--r--1olistaff491512614:21常见面试技巧.md-rw-r--r--1olistaff846512614:22Front一起去.md方法二:用npmi-g安装npmi命令,用juejinxiaoce命令执行:?Desktopnpmi-g@oliyg/juejinxiaoce/Users/oli/.nvm/versions/node/v8.12.0/bin/juejinxiaoce->/Users/oli/.nvm/versions/node/v8.12.0/lib/node_modules/@oliyg/juejinxiaoce/bin/juejinxiaoce+@oliyg/juejinxiaoce@2.2.1在5.89秒内添加了来自201个贡献者的98个包?桌面juejinxiaoceemail:password:bookId:===navagatingtomainpage===login.........BookletIDseeURLlink:执行后,等待消息全部完成。享受。完成转换,效果如下:更新日志v2.2.0添加命令行模式v2.0.0使用node原生https模块,发送请求数据获取内容,无需安装chromium,无软件权限问题v1.1.2使用Googlepuppeteer作为无头浏览器获取内容,需要安装chromium,macOSFAQv1.1.2error:spawnEACCESiscommoninmacOS可能存在权限问题,请确保chromium已正常安装未提供用户名和密码,您需要使用自己的账号和密码登录仅供技术讨论、学习和研究使用隐私本项目不会存储和发送任何用户隐私数据LicenseTheMITLicense(MIT)Copyright(c)2019OliverYoung特此授予权限,免费,任何人获得获得此软件和相关文档文件(“软件”)的副本,不受限制地处理软件,包括但不限于使用、复制、修改、合并、发布、分发、再许可和/或出售软件副本的权利,并允许获得软件的人这样做,但须满足以下条件:上述版权声明和本许可声明应包含在软件的所有副本或重要部分中。软件“按原样”提供,不提供任何保证任何种类的明示或暗示的保证,包括但不限于对适销性、特定用途的适用性和非侵权的保证。在任何情况下,作者或版权持有人均不对任何索赔、损害或其他责任负责,无论是在以下行为中由本软件或用户或本软件的其他交易引起、由本软件引起或与之相关的合同、侵权行为或其他行为。