【已解决】scrapy中警告：DEBUG: Forbidden by robots.txt
crifan 8年前 (2018-03-01) 4673浏览 0评论
折腾： 【记录】用Python的Scrapy去爬取Youtube中Humf的字幕 期间，去调用 http://www.yousubtitles.com 想办法下载字幕，结果无法提示： DEBUG: Forbidden by robots.txt 20...
标签：DEBUG: Forbidden by robots.txt
crifan 8年前 (2018-03-01) 4673浏览 0评论
折腾： 【记录】用Python的Scrapy去爬取Youtube中Humf的字幕 期间，去调用 http://www.yousubtitles.com 想办法下载字幕，结果无法提示： DEBUG: Forbidden by robots.txt 20...