Crawl_EmulateLogin

crifan 6年前 (2018-03-07) 2938浏览 0评论

折腾： 【记录】用Python的Scrapy去爬取Youtube中Humf的字幕 期间，虽然已经用代码： <code># -*- coding: utf-8 -*- import scrapy # from scrapy import R...

crifan 6年前 (2018-03-05) 3082浏览 0评论

折腾： 【记录】用Python的Scrapy去爬取Youtube中Humf的字幕 期间，已经可以用scrapy去post某个url得到返回的部分的html的字符串了： {“id”:1637788,”title&#...

crifan 6年前 (2018-03-02) 2706浏览 0评论

折腾： 【记录】用Python的Scrapy去爬取Youtube中Humf的字幕 期间， 已经可以去用scrapy打开页面： http://www.yousubtitles.com/load/?url=https%3A%2F%2Fwww.youtub...

crifan 6年前 (2018-03-01) 4161浏览 0评论

折腾： 【记录】用Python的Scrapy去爬取Youtube中Humf的字幕 期间，去调用 http://www.yousubtitles.com 想办法下载字幕，结果无法提示： DEBUG: Forbidden by robots.txt 20...

crifan 6年前 (2018-02-27) 4479浏览 0评论

pyspider vs scrapy pyspider 和 scrapy 比较起来有什么优缺点吗？ – 知乎 “Pyspiders是国内某大神开发了个WebUI的[Pyspider](GitHub – binux/pyspid...

crifan 6年前 (2018-01-13) 4563浏览 0评论

折腾： 【记录】用Python的Scrapy去爬取Youtube中Humf的字幕 期间，对于scrapy的response的xpath得到的Selector，如何获取其中的a中href的值 Scrapy 1.5 documentation — Scr...

crifan 6年前 (2018-01-13) 6564浏览 0评论

折腾： 【记录】用Python的Scrapy去爬取Youtube中Humf的字幕 期间，由于youtube网页本身需要翻墙才能打开。 而此处Mac中已有Shadowsocks-NG的ss代理了。 现在需要给Scrapy去添加代理。 scrapy ad...

crifan 6年前 (2018-01-13) 4380浏览 0评论

对于之前的手动操作去 找小毛怪 Humf 的字幕： 但是找到个好（工具）网站，支持提取youtube中视频的字幕的，具体步骤： 针对于Humf的youtube官网的每个系列： Humf – Official Channel – YouTu...

crifan 6年前 (2018-01-09) 2457浏览 0评论

折腾： 【记录】用Python的Scrapy去爬取cbeebies.com 期间，继续参考： Scrapy入门教程 — Scrapy 1.0.5 文档 去试试 Scrapy终端(Scrapy shell) — Scrapy 1.0.5 文档 的效果。...

crifan 6年前 (2017-12-26) 2469浏览 0评论

需要去爬取 http://global.cbeebies.com/ 中的儿童音频资源。 scrapy 中文教程： Scrapy入门教程 — Scrapy 0.24.6 文档 英文教程： Scrapy Tutorial — Scrapy 1.4.0 d...