我们在网页中输入网址后发生了什么呢？

1.浏览器获取域名

2.通过DNS协议获取域名对应服务器的ip地址

3.浏览器和对应的服务器通过三次握手建立TCP连接

4.浏览器通过HTTP协议向服务器发送数据请求

5.服务器将查询结果返回给浏览器

6.四次挥手释放TCP连接

7.浏览器渲染结果

其中涉及到了：

应用层：HTTP和DNS

传输层：TCP UDP

网络层：IP ICMP ARP

那为什么需要到用代理呢？

因为在做爬虫的过程中经常会遇到这样的情况：

最初爬虫正常运行，正常抓取数据，一切看起来都很不错，然而喝口茶的功夫可能就会出现错误，比如403 Forbidden

这时候打开网页一看，可能会看到“您的IP访问频率太高”这样的提示。

出现这种现象的原因是网站采取了一些反爬虫措施。

比如，服务器会检测某个IP在单位时间内的请求次数，如果超过了这个阈值，就会直接拒绝服务，返回一些错误信息，这种情况可以称为封IP。

而代理ip就避免了这个问题。

代理ip的获取

一、原始方法注入数据

// 初始化方法 constructor () { // token this.token = "Z1QljZOZiT4NTG" // 请求地址 this.req_url = 'http://api.txapi.cn/v1/proxies_ip' }

二、开始代理IP

注意：agr 参数是必传；1:HTTP 2:HTTPS 3:SOCKS5

agent_IP (url, token) { let p = new Promise(function (resolve, reject) { axios({ url: url, method: 'GET', params: { token: token, agr: 1 } }).then(resp => { if(resp.data.code !== 200){ console.log("查询失败") } else { resolve(resp.data) } }) }) return p }

三、封装run函数

// run函数 run () { this.agent_IP(this.req_url, this.token).then(res => { console.log(res); // 查询结果 }) }

四、完整代码

const axios = require('axios') class Parse { // 初始化方法 constructor () { // token this.token = "Z1QljZOZiT4NTG" // 请求地址 this.req_url = 'http://api.txapi.cn/v1/proxies_ip' } // 代理IP agent_IP (url, token) { let p = new Promise(function (resolve, reject) { axios({ url: url, method: 'GET', params: { token: token, agr: 1 } }).then(resp => { if(resp.data.code !== 200){ console.log("查询失败") } else { resolve(resp.data) } }) }) return p } // run函数 run () { this.agent_IP(this.req_url, this.token).then(res => { console.log(res); // 查询结果 }) } } if(__filename === process.mainModule.filename) { // new一个Parse对象 const p = new Parse() // 调用run方法 p.run() }