当前位置:首页 > CN2资讯 > 正文内容

httpclient使用代理ip

1天前CN2资讯



在浏览一些网站的时候由于各种原因,无法进行访问。 

频繁访问也可能导致ip被封锁而导致无法访问网站,这在我们爬取数据过程中经常遇到。

这时我们需要通过IE,FireFox进行Http的代理设置, 
当然httpClient也为我们提供这样的设置 。

代理ip用很多种形式,可以找到一个可用Ip或者使用goagent,或者购买代理ip池。


那在httpclicent中要怎么样运用呢。我们以goagent为例。


goagent打开后,只要通过127.0.0.1 端口8087来访问 就可以了


httpclient的具体用法有两种  post和get,具体使用方法可参考:

HTTPClient模块的HttpGet和HttpPost


要调用代理,只需要增加以下代码:

HttpHost proxy = new HttpHost("127.0.0.1",8087, null); httpclient.getParams().setParameter(ConnRouteParams.DEFAULT_PROXY, proxy);




如果代理需要用户,密码进行验证 

httpClient.getCredentialsProvider().setCredentials( new AuthScope(proxyHost, proxyPort), new UsernamePasswordCredentials(userName, password));





完整例子:

public static void main(String args[]) { StringBuffer sb = new StringBuffer(); //创建HttpClient实例 HttpClient client = getHttpClient(); //创建httpGet HttpGet httpGet = new HttpGet(""); //执行 try { HttpResponse response = client.execute(httpGet); HttpEntity entry = response.getEntity(); if(entry != null) { InputStreamReader is = new InputStreamReader(entry.getContent()); BufferedReader br = new BufferedReader(is); String str = null; while((str = br.readLine()) != null) { sb.append(str.trim()); } br.close(); } } catch (ClientProtocolException e) { // TODO Auto-generated catch block e.printStackTrace(); } catch (IOException e) { // TODO Auto-generated catch block e.printStackTrace(); } System.out.println(sb.toString()); } //设置代理 public static HttpClient getHttpClient() { DefaultHttpClient httpClient = new DefaultHttpClient(); String proxyHost = ""; int proxyPort = 8080; String userName = "china\\******"; String password = "*******“ httpClient.getCredentialsProvider().setCredentials( new AuthScope(proxyHost, proxyPort), new UsernamePasswordCredentials(userName, password)); HttpHost proxy = new HttpHost(proxyHost,proxyPort); httpClient.getParams().setParameter(ConnRouteParams.DEFAULT_PROXY, proxy); return httpClient; } 导入:commons-logging-1.1.jar,httpclient-4.0-beta2.jar ,httpcore-4.1-alpha1.jar 和 commons-codec-1.4.jar架包





    你可能想看:

    扫描二维码推送至手机访问。

    版权声明:本文由皇冠云发布,如需转载请注明出处。

    本文链接:https://www.idchg.com/info/32169.html

    分享给朋友:

    “httpclient使用代理ip” 的相关文章

    黑色星期五 2019:市场表现与购物策略揭秘

    黑色星期五的概述 黑色星期五,这个听起来颇具神秘色彩的词汇,实际上是指每年感恩节后的第一天,标志着圣诞购物季的开始。在美国,黑色星期五吸引了成千上万的消费者,商店为了吸引顾客纷纷推出大幅折扣和促销活动。尽管它最初起源于美国,但随着时间的推移,这一购物狂潮逐渐扩展到全球,其背后的商业魅力覆盖了多个国家...

    国外服务器推荐:提升您的在线业务效率的最佳选择

    在如今全球化的时代,选择合适的国外服务器显得尤为重要。互联网的快速发展让许多企业不仅仅局限于当地市场,跨国经营已成为常态。这种趋势使得大量用户开始寻找更为高效、灵活的服务器解决方案,以满足不同地区客户的需求。服务器不仅是维护在线业务的基础设施,还是保证用户体验的关键因素。 选择国外服务器时,不仅需要...

    选择最适合的泰国VPS解决方案,助力业务成功

    我一直对网络基础设施充满好奇,尤其是虚拟专用服务器(VPS)这一概念。VPS为用户提供了一种灵活且高效的网站托管解决方案,让我觉得非常迷人。而泰国VPS更是因其独特的地理位置和网络质量,成为了许多选择者的心仪之地。 什么是VPS呢?简单地说,VPS是一种通过虚拟化技术将物理服务器划分为多个独立的虚拟...

    原生IP的重要性及其在外贸中的应用价值

    原生IP的定义与特点 谈到原生IP,这个概念在网络世界中显得极为重要。简单来说,原生IP是指那些与虚拟专用服务器(VPS)所在国家一致的IP地址。这意味着,它们的注册信息和其实际位置是相符的,根本没有经过修改或伪造。这一点在外贸业务中尤为重要,很多情况下,企业需要保证他们的服务器IP地址真的是注册所...

    BBR加速开启:提升网络性能的最佳实践

    什么是BBR? 在网络领域,BBR(Bottleneck Bandwidth and Round-trip propagation time)是一个备受关注的TCP拥塞控制算法,由Google开发的这一技术,旨在提升网络连接的传输速率和稳定性。BBR独特之处在于,它通过实时监测数据包的传输时延与丢包...

    AMD EPYC 7K62:数据中心理想选择的高性能服务器CPU

    在数据中心的世界中,选对一款合适的服务器CPU至关重要。今天,我想聊聊AMD EPYC 7K62,这款处理器以其高性价比赢得了许多用户的青睐。这个型号的CPU被设计为服务器专用,接下来我们将深入了解它的基本信息、技术规格以及市场定位。 AMD EPYC 7K62的型号很直接,名称中就带有AMD和EP...