FictionDown是一款简单实用的网络小说爬取工具。其实在网上小说爬取类的工具还是非常多的,本次我们带来的工具支持多站点多线程爬取校对。可将结果导出为TXT,并完美兼容大多数的小说阅读器,你也可以导出markdown,然后用pandoc转换成epub,这样的话能够完美保留书本信息、卷结构、作者信息等,软件完美解决了章节缺失和章节顺序错乱的问题。对广告进行过滤,也可以手动删除,有喜欢的朋友不要错过了!
功能特色
1、以起点为样本,多站点多线程爬取校对
2、支持导出txt,以兼容大多数阅读器
3、支持导出markdown,可以用pandoc转换成epub,保留书本信息、卷结构、作者信息
4、内置简单的广告过滤(现在还不完善)
5、用Golang编写,安装部署方便,外部依赖只有PhantomJS
使用说明
支持的盗版站点
随机挑选了几个,实际上有些过于旧的书和作者频繁修改的书是爬不全的
www.biqiuge.com
www.biquge5200.cc
www.bqg5200.com
www.booktxt.net
www.81new.com
使用方法
1、输入起点链接
2、获取到书本信息,开始爬取每章内容,遇到vip章节放入Example中作为校对样本
3、手动设置笔趣阁等盗版小说的对应链接,tamp字段
4、再次启动,开始爬取,只爬取VIP部分,并跟Example进行校对
5、手动编辑对应的缓存文件,手动删除广告和某些随机字符(有部分是关键字,可能会导致pandoc内存溢出或者样式错误)
6、d -f md生成markwown
7、用pandoc转换成epub,pandoc -o xxxx.epub xxxx.md
Example
> ./FictionDown --url https://book.qidian.com/info/3249362 d # 获取正版信息
# 有时会发生`not match volumes`的错误,请启用Chromedp或者PhantomJS
# Use Chromedp
> ./FictionDown --url https://book.qidian.com/info/3249362 d --driver chromedp
# Use PhantomJS
> ./FictionDown --url https://book.qidian.com/info/3249362 d --driver phantomjs
> vim 一世之尊.FictionDown # 加入盗版小说链接
> ./FictionDown -i 一世之尊.FictionDown d -f md # 获取盗版内容
> pandoc -o 一世之尊.epub 一世之尊.md
更新日志
ma6254 发布了这个 7 days ago · 自本版本开始 提交1次
支持 Chromedp
失败重试机制
支持导出格式 txt
中文
添加支持 Chromedp
失败重试机制
支持导出格式 txt