Crawl_EmulateLogin

crifan 11年前 (2013-09-22) 27556浏览 79评论

重要提示： 1.此贴，以后不再更新； 2.想要看更新的内容，请移至： 详解抓取网站，模拟登陆，抓取动态网页的原理和实现（Python，C#等）   【前提】 想要实现使用某种语言，比如Python，C#等，去实现模拟登陆网站的话，首先要做...

crifan 11年前 (2013-09-17) 9506浏览 18评论

【背景】 之前已经写了教程，分析模拟登陆百度的逻辑： 【教程】手把手教你如何利用工具(IE9的F12)去分析模拟登陆网站(百度首页)的内部逻辑过程 然后又去用不同的语言： Python的： 【教程】模拟登陆网站 之 Python版（内含两种版本的完整...

crifan 11年前 (2013-09-11) 4267浏览 6评论

【背景】 对于模拟登陆百度，之前已经写了帖子了，包括C#版本的教程和代码： 【教程】手把手教你如何利用工具(IE9的F12)去分析模拟登陆网站(百度首页)的内部逻辑过程 中的 【教程】模拟登陆网站 之 C#版（内含两种版本的完整的可运行的代码） 我代...

crifan 11年前 (2013-08-26) 3577浏览 2评论

【背景】 之前自己弄的BlogsToWordpress，后来希望添加支持，导出网易163博客中的心情随笔的内容。 之前已经通过代码，可以获得返回的DWR-REPLY数据了： 【记录】给BlogsToWordPress添加支持导出网易的心情随笔 现在就...

crifan 11年前 (2013-08-08) 6102浏览 5评论

【背景】 折腾： 【记录】开发在线视频下载器OnlineVideoDownloader的过程 期间，需要先去分析优酷的flv真实地址。 【折腾过程】 1.继续用IE9的F12去分析。 现以 http://v.youku.com/v_show/id_X...

crifan 11年前 (2013-08-07) 4167浏览 0评论

【背景】 之前就有此想法： 弄个下载工具，可以下载很多视频网站的在线视频。 包括音悦台的各种mv，比如linkinpark的； 下载优酷的视频，比如最新喜欢上的罗辑思维等等。 而之前下载到的一些下载工具，说实话，一是不太好用，二是广告太多。 所以现在...

crifan 11年前 (2013-08-01) 9126浏览 4评论

最近更新：2013-07-03 背景 之前，对于折腾，静态或动态的网页抓取，模拟登陆，也算有些时日了。 在此期间，遇到很多问题，也都基本上靠自己慢慢的解决了。 此处，把其中相对常见和通用的问题或者是注意事项， 再加上一些心得，在此整理出来，供参考： ...

crifan 11年前 (2013-07-18) 2910浏览 0评论

  1.关于AWS方面的，可参考： 【整理】Amazon的AWS（Associates Web Service，新改名为Product Advertising API）   2.Amazon产品信息方面的一些规律 对于给定一个AS...

crifan 11年前 (2013-07-16) 2085浏览 0评论

根据amazon官网： http://docs.aws.amazon.com/AWSECommerceService/latest/DG/BrowseNodeIDs.html 的描述，Toys针对US的BrowseNodeId=493964 但是经过...

crifan 11年前 (2013-07-16) 4339浏览 0评论

背景知识： 【整理】Amazon的AWS（Associates Web Service，新改名为Product Advertising API） 【整理】Amazon产品信息抓取心得 AWS的API使用过程中，发现还是有很多事情需要注意的。 现总结...