这是一个NodeJS爬虫项目,用于爬取爱趣小说网的小说资源,非常适合初学者学习NodeJS,感受NodeJS的魅力经过测试,爬取合并斗破苍穹第1645章需要about6min项目中用到的模块主要包括:asynccheeriosuperagentsuperagent-charsetmysqlbluebirdcronasync异步流程控制模块,用于优化下载速度cheerioserverjQuery,替代繁琐的正则表达式,大大提高开发效率superagent轻量级http请求模块,高效灵活的superagent-charset转码由superagent捕获的页面。NodeJS平台gbk转utf8神器mysqlNodeJSMySQL驱动模型速度快。我用它实现了一个很简单的ORMbluebirdAPIPromise,方便使用async/await进行流程控制cron任务SchedulingModeExpress项目地址见Github
