Crawl_EmulateLogin

crifan 12年前 (2013-06-06) 4375浏览 4评论

【背景】 需要，在已经得知一个amazon上某个产品的url等信息后， 如何获得该产品的keyword。 据说，是需要通过amazon的api去查找的。 【解决过程】 1.去查关键字，结果找到： Searching by Keyword 所以，想到，...

crifan 12年前 (2013-06-05) 10836浏览 4评论

【背景】 折腾： 【未解决】通过Amazon的API查找某个产品的关键字 期间，如论如何，都是先要搞一个AWSAccessKeyId，供后续使用的。 所以先去弄一个再说。 【折腾过程】 1.从： http://docs.aws.amazon.com/...

crifan 12年前 (2013-05-23) 3540浏览 2评论

【背景】 之前使用HtmlAgilityPack期间，遇到了2个bug： 1. InnerText没有包含对应字符串（但是用NextSibling.InnerText却可以得到） 对于html： <option value="sear...

crifan 12年前 (2013-05-10) 7220浏览 13评论

【问题】 参考百度API的官网： http://developer.baidu.com/wiki/index.php?title=docs/pcs/rest/file_data_apis_list 中的“上传单个文件”的解释： 上传单个文件 ...

crifan 12年前 (2013-04-30) 4624浏览 1评论

【背景】 之前写过很多网页抓取方面的教程了。全都整理到这里了： 详解抓取网站，模拟登陆，抓取动态网页的原理和实现（Python，C#等） 现遇到别人问的问题： python 抓取动态网页的问题 即，如何分析和抓取： http://vip.stock....

crifan 12年前 (2013-03-18) 11068浏览 8评论

1.用IE9打开 https://www.google.com.hk/ 后，点击右上角的Sign In后，然后输入用户名和密码： 点击Sign in去登陆。 然后就可以看到已经登陆了：   2.很明显，其中的： https://a...

crifan 12年前 (2013-03-05) 4569浏览 6评论

今天去使用Firefox的Firebug，去随便抓取一些网站登录数据时，发现一个问题。 比如，对于百度： http://www.baidu.com 去分析登录的时候，发现那个，对于“网络”（network）的“保持”，即Persist，这个功能不能用...

crifan 12年前 (2013-02-19) 8508浏览 5评论

【问题】 折腾这个的时候，先后操作是： http://www.cadastur.turismo.gov.br/cadastur/PesquisarEmpresas.mtur -> "Guia de Turismo" ->...

crifan 13年前 (2012-12-08) 11290浏览 19评论

背景 在网络，网页，网站处理方面，很多人都遇到过，想要用某种语言（Python，C#等），去实现一些需求，常见的有这几大类： 想要从某静态网页中，提取某些内容 想要抓取某些动态网页中的某些内容 想要模拟登陆某个网站 对于这类需求，其基本的背后逻辑...

crifan 13年前 (2012-12-07) 4352浏览 0评论

【背景】 先说的是，自己之前写了个小软件，用于下载songtaste中的歌曲： 最新版本是1.5： downloadSonstasteMusic(下载Songtaste歌曲) v1.5 – 下载Songtaste(ST)中正在播放的歌曲/单首歌曲/整...