【已解决】Android中如何用代码实现去抓取网页

【问题】

之前已经实现了基本的Android的app的界面了，并且也可以获得从输入框中所输入的内容了：

【记录】实现安卓版的DownloadSongtasteMusic中的响应按钮点击

然后接着去要实现，在Android中，通过代码实现抓取对应的网页的内容。

比如songtaste中的某个歌曲播放页面：

http://www.songtaste.com/song/3208674/

现在要获得对应的html的代码。

【解决过程】

1.去网上搜，找到了：

How to create web crawler in java?

然后去打开了对应的android的API。

2.在Android的API中，自己找了找，看到一些和网络相关的，比如：

org.apache.http

貌似最接近我的需求。

其中包括了很多的Http相关的类：

HttpRequest
An HTTP request. 

HttpResponse
An HTTP response.

下面，就是去找找其示例代码，然后去写代码了。

3.去看看对应的类的详细解释：

public interface HttpRequest

不过没看到太多有用的。

4.去API Guides中看看。

好像Connectivity中的：

Android’s HTTP Clients

Most network-connected Android apps will use HTTP to send and receive data. Android includes two HTTP clients: HttpURLConnection and Apache HTTP Client. Both support HTTPS, streaming uploads and downloads, configurable timeouts, IPv6 and connection pooling.

像是所需要的。

但是悲催的去打开：

http://android-developers.blogspot.com/2011/09/androids-http-clients.html

却无法打开了。

5.后来找到：

public interface HttpClient

好像更像是所需要的。

6.不过又看到这个：

Android Asynchronous Http Client

貌似已经帮我们封装好了对应的库了。

7.这里：

Android中使用HTTPClient进行网络通讯的例子(Android HttpClient use example)

也有不错的，关于HttpClient的参考代码。

但是，还是决定先去试试上面那个封装好的库。

8.点击：

Android Asynchronous Http Client

中的下载：

http://cloud.github.com/downloads/loopj/android-async-http/android-async-http-1.4.2.jar

得到26KB的：android-async-http-1.4.2.jar

放到对应的app的lib文件夹：

D:\tmp\tmp_dev_root\android\android_root\DownloadSongtasteMusic\libs

下面。

去源码中导入，结果出错，具体解决过程参考：

【已解决】Android中导入一个lib后出错：The import com.loopj cannot be resolved

9.然后继续写测试代码，运行一下，看看结果如何，结果始终无法运行到onSuccess，具体折腾过程参见：

【未解决】Android中使用Android Asynchronous Http Client结果无法执行到onSuccess函数

10.实在受不了了，还是自己去参考之前的HttpClient，自己写代码吧。

参考：

Android中使用HTTPClient进行网络通讯的例子(Android HttpClient use example)

去写代码：

import java.io.IOException;
import org.apache.http.client.HttpClient;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.client.methods.HttpPost;
import org.apache.http.HttpStatus;
import org.apache.http.impl.client.DefaultHttpClient;
import org.apache.http.HttpResponse;
import org.apache.http.util.EntityUtils;
import org.apache.http.client.ClientProtocolException;



    	HttpGet request = new HttpGet(strSongUrl);
    	HttpClient httpClient = new DefaultHttpClient();
    	
        try {
            HttpResponse response = httpClient.execute(request);
            //if(response.getStatusLine().getStatusCode()==HttpStatus.SC_OK){
            	System.out.println(response);
            //}
        } catch (ClientProtocolException cpe) {
            // TODO Auto-generated catch block
        	cpe.printStackTrace();    
        } catch (IOException ioe) {
            // TODO Auto-generated catch block
        	ioe.printStackTrace();
        }
    }
}

结果，也还是无法运行到

System.out.println(response);

所以，貌似此处app的网络访问有问题。

13.参考：

Android HTTP Access – Tutorial

看起来像是我的app没有设置网络权限，所以才无法访问网络的。

所以就去配置权限。

安装教程所说，由于此处是Android 4.2，所以需要添加代码运行在UI中使用Network，但是又由于当前API level是8，不是9，所以又不能添加StrictMode，所以干脆先注释掉对应代码：

//import android.os.StrictMode;

public class MainActivity extends Activity {

    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_main);
        
//        StrictMode.ThreadPolicy policy = new StrictMode.ThreadPolicy.Builder().permitAll().build();
//		StrictMode.setThreadPolicy(policy); 
    }

然后再继续去配置。

但是，教程中，并没有对相应的权限参数：

• android.permission.INTERNET
• android.permission.ACCESS_NETWORK_STATE

进行解释。

14.所以再去网上找找，如何添加这两个权限。

最后是参考：

android.permission.INTERNET

去到AndroidManifest.xml中添加了这两个权限：

15.再去运行上述代码，看看效果如何。

结果无法调试出所需要的效果

具体折腾参见：

【未解决】Android开发中，用ADT调试apk时，无法单步调试Step Over，会跳转到Source Not Found

16.然后再去参考：

第三十讲：URLConnection和HttpClient使用入门

去试试：

    	String googleWeatherUrl2 = "http://www.google.com/ig/api?hl=zh-cn&weather=zhengzhou";
    	DefaultHttpClient httpclient = new DefaultHttpClient();
    	//HttpGet httpget = new HttpGet(googleWeatherUrl2);
    	HttpGet httpget = new HttpGet(strSongUrl);
    	ResponseHandler<String> responseHandler = new BasicResponseHandler();
		try {
			String content = httpclient.execute(httpget, responseHandler);
			Toast.makeText(getApplicationContext(), "连接Google Weather API成功!", Toast.LENGTH_SHORT).show();
			etUrlOrId.setText(content);
		} catch (Exception e) {
			Toast.makeText(getApplicationContext(), "连接Google Weather API失败", Toast.LENGTH_SHORT).show();
			e.printStackTrace();
		}
		httpclient.getConnectionManager().shutdown();

结果还是不行。

17.再去参考：

Android HTTP Access – Tutorial

用代码：

    	//http://www.vogella.com/articles/AndroidNetworking/article.html

    	// Somewhere in your code this is called
    	// in a thread which is not the user interface
    	// thread
		try {
			//URL url = new URL("http://www.vogella.com");
			URL url = new URL(strSongUrl);
			HttpURLConnection con = (HttpURLConnection) url.openConnection();
			readStream(con.getInputStream());
		  } 
		catch (Exception e) {
			e.printStackTrace();
		}

出错了。

但是，至少可以获得当前出错的原因：

android.os.NetworkOnMainThreadException

所以，还真是之前的问题，所以再去修改：

把AndroidManifest.xml中的：

    <uses-sdk
        android:minSdkVersion="8"
        android:targetSdkVersion="16" />

改为：

    <uses-sdk
        android:minSdkVersion="9"
        android:targetSdkVersion="16" />

然后再去添加对应的代码：

import android.os.StrictMode;

public class MainActivity extends Activity {

    @Override
    protected void onCreate(Bundle savedInstanceState) {
        ...
        
        StrictMode.ThreadPolicy policy = new StrictMode.ThreadPolicy.Builder().permitAll().build();
		StrictMode.setThreadPolicy(policy); 
    }

然后再去试试，结果没了此异常了。

18.所以再回去试试之前的代码：

    	HttpGet request = new HttpGet(strSongUrl);
    	HttpClient httpClient = new DefaultHttpClient();
    	
        try {
            HttpResponse response = httpClient.execute(request);
            etUrlOrId.setText(response.toString());
            Log.d("Http Response:", response.toString());
            if(response.getStatusLine().getStatusCode()==HttpStatus.SC_OK){
            	System.out.println(response);
            }
        } catch (ClientProtocolException cpe) {
            // TODO Auto-generated catch block
        	cpe.printStackTrace();    
        } catch (IOException ioe) {
            // TODO Auto-generated catch block
        	ioe.printStackTrace();
        }

终于就可以正常执行了，返回的状态码是200：

19.对应的，也去试了试之前的几种代码，可以的：

代码：

    	String strSongUrl = "http://www.songtaste.com/song/" + "3208674";
    	
    	//String baiduUrl = "http://www.baidu.com";
    	AsyncHttpClient client = new AsyncHttpClient();
    	//client.get("http://www.google.com", new AsyncHttpResponseHandler() {
    	client.get(strSongUrl, new AsyncHttpResponseHandler() {
    	//client.get(baiduUrl, new AsyncHttpResponseHandler() {
    	    @Override
    	    public void onSuccess(String response) {
    	        System.out.println(response);
    	    }
    	});

的运行结果：

【总结】

想要实现抓取网页，必须有个前提，那就是：

1. 能访问网络

• 修改AndroidManifest.xml，在<application>xxx</application>之前，添加对应的：

	<uses-permission android:name="android.permission.INTERNET"></uses-permission>
	<uses-permission android:name="android.permission.ACCESS_NETWORK_STATE"></uses-permission>

2. 由于新版Android中不能在UI中访问网络，所以要规避这个限制

• 要保证确保你的api level是大于9的，否则就像我这里要去修改AndroidManifest.xml，把：

    <uses-sdk
        android:minSdkVersion="8"
        android:targetSdkVersion="16" />

改为：

    <uses-sdk
        android:minSdkVersion="9"
        android:targetSdkVersion="16" />

• 去你的程序MainActivity.java中，添加：

import android.os.StrictMode;

然后在onCreate函数中，添加上：

        StrictMode.ThreadPolicy policy = new StrictMode.ThreadPolicy.Builder().permitAll().build();
		StrictMode.setThreadPolicy(policy);

满足了前提条件之后，再去实现你的代码，比如类似于这样的代码：

import org.apache.http.client.HttpClient;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.HttpStatus;
import org.apache.http.impl.client.DefaultHttpClient;
import org.apache.http.HttpResponse;
import org.apache.http.client.ClientProtocolException;

    /** Called when the user clicks the Download button */
    public void preformDownload(View view) {
        String strSongUrl = "http://www.songtaste.com/song/" + "3208674";
        
        HttpGet request = new HttpGet(strSongUrl);
        HttpClient httpClient = new DefaultHttpClient();
        
        try {
            HttpResponse response = httpClient.execute(request);
            if(response.getStatusLine().getStatusCode()==HttpStatus.SC_OK){
                System.out.println(response);
            }
        } catch (ClientProtocolException cpe) {
            // TODO Auto-generated catch block
            cpe.printStackTrace();    
        } catch (IOException ioe) {
            // TODO Auto-generated catch block
            ioe.printStackTrace();
        }
    }

就最终可以实现访问网络，获得响应，获得网页的源码了。

转载请注明：在路上 » 【已解决】Android中如何用代码实现去抓取网页