折腾:
【未解决】如何破解大众点评网页爬取时的反扒验证verify.meituan.com
期间,
PySpider 禁止cookie
突然想到:
每次cookie设置为空
或许就能实现 禁止cookie的效果了
【总结】
此处通过全局设置cookies是空字典,间接的实现禁止cookie的效果:
class Handler(BaseHandler):
crawl_config = {
"proxy": ProxyUri,
...
"cookies": {}
}或者可以每次
传递cookies参数为空字典:
self.crawl(
childEnglishEntryUrl,
callback=self.childEnglishEntryCallback,
headers=self.genCurHeaders(),
cookies={},
save=eachMainCity,
)也可以。
转载请注明:在路上 » 【已解决】PySpider中如何禁止cookie