javaネットワーク爬虫接続タイムアウト解決実例コード
本論文で研究したのは主にjavaネットワークの爬虫接続がタイムアウトした問題です。具体的には以下の通りです。
ネットの爬虫類の中で、よく次のようなエラーが発生します。接続がタイムアウトしました。この問題に対しては、接続時間と要求時間を長く設定するという考えが一般的です。接続がタイムアウトした場合は、再度【再要求回数の設定】を要求します。
締め括りをつける
以上がJavaネットワークの爬虫類接続のタイムアウトについての実例コードの全部です。興味のある方は引き続き当駅の他のテーマを参照してください。友達のサポートに感謝します。
ネットの爬虫類の中で、よく次のようなエラーが発生します。接続がタイムアウトしました。この問題に対しては、接続時間と要求時間を長く設定するという考えが一般的です。接続がタイムアウトした場合は、再度【再要求回数の設定】を要求します。
Exception in thread "main" java.net.ConnectException: Connection timed out: connect
以下のコードはhttpclientを使って接続のタイムアウトを解決するサンプルプログラムです。直接プログラムを実行します。
package daili;
import java.io.IOException;
import java.net.URI;
import org.apache.http.HttpRequest;
import org.apache.http.HttpResponse;
import org.apache.http.client.ClientProtocolException;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.client.params.CookiePolicy;
import org.apache.http.client.protocol.ClientContext;
import org.apache.http.impl.client.BasicCookieStore;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.DefaultHttpClient;
import org.apache.http.impl.client.DefaultHttpRequestRetryHandler;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.impl.cookie.BasicClientCookie2;
import org.apache.http.params.HttpConnectionParams;
import org.apache.http.params.HttpParams;
import org.apache.http.protocol.BasicHttpContext;
import org.apache.http.protocol.ExecutionContext;
import org.apache.http.protocol.HttpContext;
import org.apache.http.util.EntityUtils;
/*
* author:
*[email protected]
*/
public class Test1 {
public static void main(String[] args) throws ClientProtocolException, IOException, InterruptedException {
getRawHTML("http://club.autohome.com.cn/bbs/forum-c-2098-1.html#pvareaid=103447");
}
public static String getRawHTML ( String url ) throws ClientProtocolException, IOException, InterruptedException{
//
DefaultHttpClient httpclient = new DefaultHttpClient();
httpclient.getParams().setParameter("http.protocol.cookie-policy",
CookiePolicy.BROWSER_COMPATIBILITY);
//
HttpParams params = httpclient.getParams();
//
HttpConnectionParams.setConnectionTimeout(params, 6000);
HttpConnectionParams.setSoTimeout(params, 6000*20);
//
DefaultHttpRequestRetryHandler dhr = new DefaultHttpRequestRetryHandler(5,true);
HttpContext localContext = new BasicHttpContext();
HttpRequest request2 = (HttpRequest) localContext.getAttribute(
ExecutionContext.HTTP_REQUEST);
httpclient.setHttpRequestRetryHandler(dhr);
BasicCookieStore cookieStore = new BasicCookieStore();
BasicClientCookie2 cookie = new BasicClientCookie2("Content-Type","text/html;charset=UTF-8");
BasicClientCookie2 cookie1 = new BasicClientCookie2("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36");
cookieStore.addCookie(cookie);
cookieStore.addCookie(cookie1);
localContext.setAttribute(ClientContext.COOKIE_STORE, cookieStore);
HttpGet request = new HttpGet();
request.setURI(URI.create(url));
HttpResponse response = null;
String rawHTML = "";
response = httpclient.execute(request,localContext);
int StatusCode = response.getStatusLine().getStatusCode();
//
System.out.println(StatusCode);
if(StatusCode == 200){
// 200
//
rawHTML = EntityUtils.toString (response.getEntity());
System.out.println(rawHTML);
//
EntityUtils.consume(response.getEntity());
//
} else {
// HttpEntity
EntityUtils.consume(response.getEntity());
//
Thread.sleep(20*60*1000);
// 30
}
httpclient.close();
System.out.println(rawHTML);
return rawHTML;
}
}
結果:締め括りをつける
以上がJavaネットワークの爬虫類接続のタイムアウトについての実例コードの全部です。興味のある方は引き続き当駅の他のテーマを参照してください。友達のサポートに感謝します。