Web

crifan 7年前 (2018-03-05) 3319浏览 0评论

折腾： 【记录】用Python的Scrapy去爬取Youtube中Humf的字幕 期间，已经可以用scrapy去post某个url得到返回的部分的html的字符串了： {“id”:1637788,”title&#...

crifan 7年前 (2018-03-02) 2954浏览 0评论

折腾： 【记录】用Python的Scrapy去爬取Youtube中Humf的字幕 期间， 已经可以去用scrapy打开页面： http://www.yousubtitles.com/load/?url=https%3A%2F%2Fwww.youtub...

crifan 7年前 (2018-03-01) 4445浏览 0评论

折腾： 【记录】用Python的Scrapy去爬取Youtube中Humf的字幕 期间，去调用 http://www.yousubtitles.com 想办法下载字幕，结果无法提示： DEBUG: Forbidden by robots.txt 20...

crifan 7年前 (2018-02-27) 4752浏览 0评论

pyspider vs scrapy pyspider 和 scrapy 比较起来有什么优缺点吗？ – 知乎 “Pyspiders是国内某大神开发了个WebUI的[Pyspider](GitHub – binux/pyspid...

crifan 7年前 (2018-01-13) 4856浏览 0评论

折腾： 【记录】用Python的Scrapy去爬取Youtube中Humf的字幕 期间，对于scrapy的response的xpath得到的Selector，如何获取其中的a中href的值 Scrapy 1.5 documentation — Scr...

crifan 7年前 (2018-01-13) 6827浏览 0评论

折腾： 【记录】用Python的Scrapy去爬取Youtube中Humf的字幕 期间，由于youtube网页本身需要翻墙才能打开。 而此处Mac中已有Shadowsocks-NG的ss代理了。 现在需要给Scrapy去添加代理。 scrapy ad...

crifan 7年前 (2018-01-13) 4659浏览 0评论

对于之前的手动操作去 找小毛怪 Humf 的字幕： 但是找到个好（工具）网站，支持提取youtube中视频的字幕的，具体步骤： 针对于Humf的youtube官网的每个系列： Humf – Official Channel – YouTu...

crifan 7年前 (2018-01-09) 2751浏览 0评论

折腾： 【记录】用Python的Scrapy去爬取cbeebies.com 期间，继续参考： Scrapy入门教程 — Scrapy 1.0.5 文档 去试试 Scrapy终端(Scrapy shell) — Scrapy 1.0.5 文档 的效果。...

crifan 7年前 (2018-01-01) 3755浏览 0评论

之前听说过D3等JS库，可以实现很多复杂效果。 好像也有思维导图 mindmap 现在自己用Xmind去画了个内容很多的思维导图 希望可以能放到网上供参考 之前试了试 Xmind的在线共享，效果很不好，放弃。 想要找个JS库可以实现这个效果的方案 搜...

crifan 7年前 (2017-12-26) 2789浏览 0评论

需要去爬取 http://global.cbeebies.com/ 中的儿童音频资源。 scrapy 中文教程： Scrapy入门教程 — Scrapy 0.24.6 文档 英文教程： Scrapy Tutorial — Scrapy 1.4.0 d...