爬虫類にUser-Agentを設定する



JAvaではUser-Agentコードを以下のように設定しています
HttpURLConnection uc = (HttpURLConnection) baseURL.openConnection();
uc.setRequestProperty("User-Agent", "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; .NET CLR 3.0.04506)");

 
このUser-Agentは私がieHTTPheadersを使ってブラウザの中で見た結果で、いくつか選んで変更しました.
と書く
User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 2.0.50727; .NET CLR 3.0.04506.30; .NET CLR 3.0.04506.648; CIBA)