novel-plus(小说精品屋-plus) 的爬虫程序 HTTP 代理设置


爬虫程序 3.6.2 版本已经开始支持通过设置 HTTP 代理来助力小说数据采集了。

代理默认关闭,如果需要开启则修改 novel-crawl/config/application-common-prod.yml 文件中的 HTTP 代理配置。

1
2
3
4
5
6
7
8
9
# HTTP 代理配置
http:
proxy:
# 是否开启 HTTP 代理,true-开启,false-不开启
enabled: false
# 代理 IP
ip: u493.kdltps.com
# 代理端口号
port: 15818

如果 application-common-prod.yml 文件中没有以上配置,则手动加入以上配置到 application-common-prod.yml 文件末尾。

代理 IP 可以使用免费的也可以使用付费的,已实验过快代理(👉 立即前往)提供的免费代理和付费隧道代理试用(新用户可以试用 4 个小时,只需要设置一个固定IP,云端会自动切换IP,每次请求都会自动转发到不同IP)。



获取上图中的隧道host和HTTP端口填入上面的application-common-prod.yml文件中即可。