工作和技术

crifan 7年前 (2018-07-13) 5012浏览 0评论

折腾： 【已解决】PySpider中下载mov文件出错：requests.exceptions.HTTPError HTTP 403 Forbidden 期间，需要去获取带毫秒的13位数的时间戳，比如： <code>#(2)http://...

crifan 7年前 (2018-07-13) 2413浏览 0评论

在尝试用PySpider去下载： http://xxx/Prelim 中的mov视频，比如： {   "fetch": {     "cookies": {},     "save": { ...

crifan 7年前 (2018-07-13) 2808浏览 0评论

折腾： 【无法解决】PySpider的部署运行而非调试界面上RUN运行 期间，看看通过使用不同端口，实现避开多个PySpider的项目去运行和调试 （虽然理论上可以实现，用单个PySpider的WebUI界面中去管理多个spider，但是此处由于项目...

crifan 7年前 (2018-07-13) 1810浏览 0评论

希望手动操作mysql，实现添加一个二级的topic 比如： 在一级topic：Animal 里加一个二级topic：ocean animals 而现有的一级topic的Animal中是没有这个二级topic，所以界面上是选择不出来的： 然后先去备...

crifan 7年前 (2018-07-13) 3668浏览 0评论

折腾： 【已解决】使用PySpider去爬取某网站中的视频 后，虽然可以打开： http://0.0.0.0:5000/ 在界面上把status改为DEBUG或RUN去运行，但是有些爬虫要爬完所有内容需要很长时间，比如此处:但是界面上调试运行，跑了好...

crifan 7年前 (2018-07-12) 539浏览 0评论

折腾： 【记录】本地用后台管理页面框架搭建图表原型 期间，去 -> /Users/crifan/dev/dev_root/projects/通讯可视化/sourcecode/web ➜  web git clone https://git...

crifan 7年前 (2018-07-12) 9781浏览 0评论

手上有个mp4的视频： 去看看能否提取出其中的字幕 但是如果是合并后的，字幕成为视频数据的一部分的，应该就无法提取了。 不过先去看看这个能否提取。 mac mp4 字幕提取 mac os中有什么办法可以将mkv视频中的字幕提取出来? –...

crifan 7年前 (2018-07-12) 2222浏览 0评论

打算是用： xxx is str xxx is dict 去判断的： <code>    def showVideoCallback(self, response):         print("showVideoCallba...

crifan 7年前 (2018-07-12) 3033浏览 0评论

PySpider中，通过一个函数，实现了根据当前页面号码，递归获取下一个页面： 相关部分代码是： <code>     # @every(minutes=24 * 60)     def on_start(self):         s...

crifan 7年前 (2018-07-12) 2469浏览 0评论

折腾： 【已解决】使用PySpider去爬取某网站中的视频 期间，此处已经抓取到mp4视频地址了： showVideoCallback: response.url=http://xx.xx?m=home&c=match_...