pyspider

crifan 7年前 (2018-05-17) 2503浏览 0评论

折腾： 【未解决】pyspider运行出错：FETCH_ERROR HTTP 599 Connection timed out after milliseconds 期间，想要搞清楚，pyspider中的phantomjs，很多帖子提到了proxy，...

crifan 7年前 (2018-05-12) 2388浏览 0评论

折腾： 【未解决】pyspider运行出错：FETCH_ERROR HTTP 599 Connection timed out after milliseconds 期间，发现个问题： insert没有按照期望去把数据插入到mysql数据库中 且即使...

crifan 7年前 (2018-05-12) 4128浏览 0评论

折腾： 【已解决】PySpider中保存数据到mysql 期间，运行了很长时间之后回来发现： 运行状态是PAUSED -》难道是屏幕锁屏了导致的？ 主要是看到错误信息了： <code>1. FETCH_ERROR autohomeBra...

crifan 7年前 (2018-05-05) 3624浏览 0评论

折腾： 【已解决】PySpider中保存数据到mysql 期间，解决了之前的错误，又出现别的错误： <code>➜  AutocarData pyspider -c config.json result_worker Traceback ...

crifan 7年前 (2018-05-05) 3863浏览 0评论

折腾： 【已解决】PySpider中保存数据到mysql 期间，pyspider中去运行result_worker但是出错： <code>➜  AutocarData pyspider -c config.json result_work...

crifan 7年前 (2018-05-03) 4236浏览 0评论

之前已经弄完了基本的PySpider的项目，把数据直接return返回，在运行后，点击results，导出csv了： 【已解决】写Python爬虫爬取汽车之家品牌车系车型数据 现在想要去把数据保存到mysql中。 先去看官网教程： Working w...

crifan 7年前 (2018-05-03) 4395浏览 0评论

折腾： 【已解决】pyspider中如何加载汽车之家页面中的更多内容 期间，就遇到了部分页面内容不显示，好像是js导致的。当时是规避掉了。 不过后面继续遇到了类似的问题： pyspider中，加载的页面，缺少了部分内容： ...

crifan 7年前 (2018-04-30) 3064浏览 0评论

现在有个需求： 希望在爬取汽车之家的数据时，能把当前（具体车型信息）页面爬取数据，传递给下一级。 且希望，对于下一级页面爬取失败时（本身不存在对应的页面，比如不存在该车型的报价，比如时停售了或未上市时有的没有报价），希望也能执行对应callback函...

crifan 7年前 (2018-04-27) 3152浏览 0评论

折腾： 【已解决】PySpider如何把json结果数据保存到csv或excel文件中 期间，遇到个情况是： PySpider保存单个dict的json字典对象，是可以用return去返回即可。 但是此处，单个page页面需要返回多个dict 而之前...

crifan 7年前 (2018-04-27) 4934浏览 0评论

折腾： 【已解决】写Python爬虫爬取汽车之家品牌车系车型数据 期间，想要对于PySpider中的，两个正在运行的任务，由于发现代码写的有问题，所以暂停运行了： 导致result.db有残留不要的数据，以及还有被暂停的垃圾正在运行的task 现在想...