标签：断点续传

crifan 11年前 (2013-01-11) 2757浏览 0评论

1.巧了，看到了一个PHP的爬虫相关的库/框架： PHPCrawl webcrawler library/framework 有空可以好好折腾折腾。   2.另外又看到一个，貌似不错的库： PHP HTTP protocol client ...

crifan 12年前 (2012-12-04) 4771浏览 2评论

背景 我们在，网页抓取，模拟登陆，抓取动态网页等等，过程中，往往要先通过工具去分析，如何访问一个url，然后获得对应的数据，然后搞懂逻辑了，再用代码实现出来。 而此时，就涉及到，访问对应的url是GET是，要发送，一堆的Header， 而如果是POS...

crifan 12年前 (2012-10-04) 7889浏览 11评论

【背景】 首先，我们都已知道，wordpress默认设置的文章的链接地址为： http://localhost/?p=9 其中该文章的9为postID。 而如果想要实现SEO，以及让文章链接地址更加具有可读性，最好的方式是，...

crifan 12年前 (2012-09-05) 8357浏览 3评论

【问题】 很早之前，就看到过很多网站，除了本身某个地址可以显示html网页之外，其他有些网站路径下面的子路径： http://docbook.sourceforge.net/release/website/current/ 就像本地电脑中的子文件夹一...

crifan 12年前 (2012-03-08) 4043浏览 0评论

【问题】 在用python抓取网页的时候，很多网页返回的html的数据量比较大，比如好几十KB， 希望在提交http的请求的时候，支持Gzip压缩，已减少数据量传输。 【解决过程】 1.参考 http://flyash.i...

crifan 12年前 (2012-03-08) 12267浏览 8评论

已经实现了如何获得对应的cookie，具体参考： 【已解决】Python中如何获得访问网页所返回的cookie 现在想要把已获得cookie，在http的提交post请求的时候，也同时发送过去。 即，实现带cookie的http的post。 【解决过...

crifan 12年前 (2012-02-16) 1707浏览 0评论

1.  Http的ETag HTTP缓存ETAG和Last-Modified HTTP ETag 转载请注明：在路上 » 【记录】网络技术，Http等相关的学习资源...

crifan 12年前 (2012-02-15) 6250浏览 0评论

C#中需要提交对于： https://skydrive.live.com/ 的网页请求，已经设置好了对应的request的各个参数， 其中Header中的Accept的设置，包含了application/javascript： ...

crifan 12年前 (2012-02-14) 29437浏览 0评论

【问题】 C#中，通过VS2010中的调试过程中发现，访问某个网页，获得对应的http的response中的headers中的Set-Cookie的内容是： Set-Cookie: MSPRequ=/;Version=1;version&...

crifan 12年前 (2012-02-12) 3458浏览 0评论

下面总结记录一些关于http的cookie的知识： 1.cookie的属性 一般cookie所具有的属性，包括： Domain：域，表示当前cookie所属于哪个域或子域下面。 此处需要额外注意的是，在C#中，如果一个cookie不设置对应的Do...