输入一条 URL,AI 自动生成规则,novel-plus 爬虫真正实现 0 门槛


novel-plus 是一套功能完善的原创文学 CMS 系统,支持 PC 网站、WAP、H5、Android、iOS 和微信小程序等多个终端,提供从内容管理到用户运营的一站式小说平台搭建解决方案。
​
项目包含前台门户、作家后台、平台管理后台和爬虫管理系统等多个子系统,提供小说推荐、作品检索、排行榜、在线阅读、书评、段落评论、书单、会员中心、作家专区等功能。
​
同时,支持多模板自定义、数据库分表和 TXT 文本等多种小说内容存储方式、阅读主题切换、自动采集与更新、AI 写作、会员充值、章节订阅、新闻发布和实时统计报表等功能。

点击查看大图点击查看大图点击查看大图点击查看大图
​此前,novel-plus 爬虫引擎在原有正则表达式解析的基础上,陆续增加了 CSS、XPath、JSONPath 等解析方式,并支持第三方规则导入,进一步降低了爬虫规则的编写和维护成本。
点击查看大图
现在,规则编写正式接入 AI。

不需要了解正则表达式,也不需要手动分析网页结构,只需输入一个小说网站的 URL,AI 就能自动分析页面并生成对应的爬虫规则。

点击查看大图点击查看大图
为了验证实际效果,目前已经选取飘天文学网和书趣阁进行了测试,分别使用以下两个模型进行对比:

  • deepseek-ai/DeepSeek-R1-0528-Qwen3-8B
  • tencent/Hy4-preview

测试结果显示,两个模型都能够完成规则生成任务,但实际效果存在一定差异:

  • Tencent Hy4-preview: 本次测试中生成的规则均能正常使用,正确率达到 100%,从规则生成到实际使用,全程无需人工干预。
  • DeepSeek R1: 能够生成大部分规则,但偶尔会出现错误,需要人工检查和修正。
    点击查看大图

从目前的测试结果来看,AI 自动生成规则已经具备实际应用价值。不过,不同模型的生成质量仍然存在差异,建议在正式采集前进行规则验证。

目前,相关代码已经推送到 GitHub 仓库的 6.4.x 分支,暂未正式发布,将随后续版本更新上线。