科技微讯

关于 IP 代理池

这个网站可以领取一定额度的免费 IP 代理。

拿到的代理搭配 got 的使用方法。got-scraping 不支持传入 IP 代理,需要用 url 代理。crawlee 用的是 got-scraping,所以也不能直接传入 IP 地址。

有一篇文章分享了如何用 ipv6 搭建代理池,非常值得一看。该文章作者提到了他的师兄,他的代理池项目值得一看,这位师兄还写了很多 spider,还分享了 js 爬虫的相关工具,提到了 crawlee、proxy-chain。

另一个从免费地理池网站爬取代理的项目也可以看看。

暂无评论