crifan的文章

6年前 (2019-04-28) 631浏览 0评论

折腾： 【未解决】如何破解大众点评网页爬取时的反扒验证verify.meituan.com 期间，现在只能去： 多次爬取，获得部分数据，然后去合并结果。 效率很低，且不能保证获取到完整的所有的数据。 现在继续想办法，看看能不能获取到完整数据。 考虑：...

6年前 (2019-04-26) 3295浏览 0评论

折腾： 【记录】crifan.org再次网站搬家从腾讯云香港到国外服务器 期间，基本上选好了打算搬家到Vultr。 搬家之前，先要去搞清楚，腾讯云的CVM云服务器的香港节点，之前买了3年的，现在要去退款。 参考之前的： 【规避解决】crifan.or...

6年前 (2019-04-26) 632浏览 0评论

折腾： 【未解决】如何破解大众点评网页爬取时的反扒验证verify.meituan.com 期间，想到一个，觉得从逻辑上很好，很完美的办法： 对于每次下载，3000多个请求，但是只下载到1500左右的数据。 其中失败了的，被反扒跳转到验证页面的请求，...

6年前 (2019-04-26) 1112浏览 0评论

折腾： 【未解决】如何破解大众点评网页爬取时的反扒验证verify.meituan.com 期间，对于之前某个地方提到的，注意对于代理IP，不要设置： "Connection": "keep-alive" 避免...

6年前 (2019-04-26) 967浏览 0评论

折腾： 【未解决】如何破解大众点评网页爬取时的反扒验证verify.meituan.com 期间，对于之前已购买的多贝云的动态IP代理，对于想要的效果： 每次请求IP都不同 其实单独测试： 单独写脚本用requests PySpider中UI中调试...

6年前 (2019-04-26) 712浏览 0评论

折腾： 【未解决】如何破解大众点评网页爬取时的反扒验证verify.meituan.com 期间，在页面报错后，重新清空再试，也还是没有cookie 但是看到很多header： 把上面的header都加进来： constUserAgentMacC...

6年前 (2019-04-26) 784浏览 0评论

折腾： 【未解决】如何破解大众点评网页爬取时的反扒验证verify.meituan.com 期间，去看看，是否可以设置对应的，合适的cookie，从而避免触发大众点评的反扒。 如何绕过反扒 verify.meituan.com 绕开 verify....

6年前 (2019-04-25) 7673浏览 0评论

折腾： 【整理】研究Vultr的VPS的各种功能和特点 期间，得知： Deploy ownCloud in 60 seconds – Vultr.com Deploy Nextcloud in 60 seconds – Vul...

6年前 (2019-04-25) 868浏览 0评论

折腾： 【整理】研究Vultr的VPS的各种功能和特点 期间，发现Vultr中有提到： Webmin 作用 Virtualmin/Webmin功能强大的服务器管理面板-Unix系统图形化管理 – 挖站否-挖掘建站的乐趣 看起来很不错。...

6年前 (2019-04-25) 2725浏览 0评论

折腾： 【记录】crifan.org再次网站搬家从腾讯云香港到国外服务器 现在基本确定用Vultr。 然后继续研究其各种方面的情况。 【记录】Vultr国内连接访问速度测试 【对于能否换IP或节点】 对于Vultr是否能免费换IP（或节点） vult...