最新消息:20210917 已从crifan.com换到crifan.org

【已解决】找个好用的IP代理池实现防止大众点评网站的反扒

代理 crifan 738浏览 0评论
折腾:
【未解决】如何破解大众点评网页爬取时的反扒验证verify.meituan.com
期间,去寻找合适的IP代理池。
IP代理池
jhao104/proxy_pool: Python爬虫代理IP池(proxy pool)
好像开源的IP代理可以用?
还要docker才行
开源一款高可用的分布式代理 IP 池(附性能测试图) – V2EX
SpiderClub/haipproxy: High available distributed ip proxy pool, powerd by Scrapy and Redis
也是docker部署的
突破反爬虫的利器——开源IP代理池 – Python开发社区 | CTOLib码库
突破反爬虫的利器:开源IP代理池 | 阿布云 – 因为专业·所以简单
HTTP隧道产品 | 阿布云 – 为大数据赋能
其中的:
动态版 每个请求一个随机IP
好像就比较适合
squid
squid : Optimising Web Delivery
Squid (软件) – 维基百科,自由的百科全书
https://zh.wikipedia.org/wiki/Squid_(软件)
听别人建议直接买收费的。
免费的一般不太稳定。
IP代理池 哪家好
国内有什么好的代理IP(http)提供商? – 知乎
购买私密代理 – 蜻蜓代理 – 企业级高质量代理ip平台
站大爷 – 企业级高品质Http代理IP/Socks5代理IP供应平台/免费代理IP
一手私密代理IP|五位随机代理IP|非万人骑代理IP|高质量代理IP – 站大爷 – 企业级高品质Http代理IP/Socks5代理IP供应平台/免费代理IP
快代理 – 高速http代理ip每天更新
* SpiderClub/haipproxy
* imWildCat/scylla
飞蚁代理-企业级动态独享ip代理,爬虫代理,http/https代理,SOCKS代理l2tp提供商
蘑菇代理 – 企业级高品质HTTP代理IP技术平台|提供HTTP代理IP池租用与定制服务
现在可以考虑去试试
蜻蜓代理
不过对于:
每次提取IP数:10
最小提取间隔:10秒
-》不利于我PySpider中直接调用代理
后记:清楚了,这个
每次提取IP数:10
是属于api调用,不是我要的方式
我应该换用http隧道代理
python最强的代理池,突破IP的封锁爬取海量数据_黑洞HTTP
Python爬虫代理池分享——再也不怕反爬虫 – 简书
爬虫代理哪家强?十大付费代理详细对比评测出炉! | 静觅
结论:
需要调用频率:无限制的
去看看多贝云
多贝云|动态IP代理拨号代理VPN代理动态HTTP代理
还有demo代码:
dobelcloud/PythonRequestsDemo.py at master · dobelgit/dobelcloud
多贝云|动态IP代理拨号代理VPN代理动态HTTP代理
可以考虑试试这个
常见问题 多贝云|动态IP代理拨号代理VPN代理动态HTTP代理
带宽或者每秒请求数能够在默认套餐基础上额外增加吗?
可以,需要支付升级费用,具体费用参考商务报价单。
http://dobel.cn/act/https_pro/index.html
高质量IP
全部IP均为高匿,保证私密性,并且全部是家庭用IP,真人率更高
看起来不错。
且页面和产品介绍清晰。
目前决定用:多贝云 IP代理池
买之前,先再去看看:
关于如何使用,找到文档了:
蜻蜓代理 – 企业级高质量代理ip平台
-》
常见问题答疑 | 蜻蜓代理 – 企业级高质量代理ip平台
购买私密代理 – 蜻蜓代理 – 企业级高质量代理ip平台
隧道代理接入文档 | 蜻蜓代理 – 企业级高质量代理ip平台
-》文档解释的,和多贝云的解释是类似的,但是没有多贝云专业,且多贝云有示例代码
结论:
总体上,还是多贝云:
产品介绍的很清晰,包括价格和配置,尤其是文档解释和常见问题解答方面,
让新手很容易懂。
所以还是用多贝云吧。
后记:
阿布云的文档也解释的不错,比如也有示例代码:
经典版HTTP隧道接入指南 | 阿布云 – 为大数据赋能
-》
abuyun/proxy-demo: abuyun cloud proxy demo
期间去:
【已解决】搞懂IP代理池相关概念和逻辑
然后才是去:
【已解决】购买多贝云IP代理池
然后再去测试代理是否生效:
【已解决】用Python代码测试多贝云代理IP是否生效
接着去:
【已解决】PySpider中使用多贝云IP代理池实现每次请求IP都不同
【总结】
此处是找了IP代理提供商:
多贝云
购买地址:
多贝云|动态IP代理拨号代理VPN代理动态HTTP代理
此处(先搞错了购买了套餐2,后换)购买了套餐3,实现了:每次请求,IP都不同的效果。

转载请注明:在路上 » 【已解决】找个好用的IP代理池实现防止大众点评网站的反扒

发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
90 queries in 0.178 seconds, using 23.38MB memory