爬虫之代理IP爬虫代理ip购买
如果一个IP访问频率过高，则有可能会被对方的服务器封掉。
解决方法：
1. 降低访问频率，使用time.sleep()
2. 使用代理IP
推荐使用的代理IP网站：
西刺代理：
快代理：https://www.kuaidaili.com/
芝麻代理的使用方法：https://www.bilibili.com/video/BV1x5411c7hf?from=search&seid=9358258166195933835
代理网站通常提供免费代理和付费代理。免费代理不好用。快代理上提供的收费代理中，开发代理和私密代理中提供的IP不一定都可用，但是比免费的IP要好。
开放代理可利用率低，私密代理还可以。通常使用私密代理。
可以建立自己的IP代理池，并试用代理IP的可用情况。可以使用www.baidu.com或httpbin.org/get测试代理IP的有效性。
import requestsfrom lxml import etreeimport timeimport randomclass ProxyPool: def __init__(self): self.url = 'https://www.kuaidaili.com/free/inha/%d' self.test_url = 'http://www.baidu.com/' self.headers = { 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36' } def get_proxy_pool(self,url): html = requests.get(url=url,headers=self.headers).text p = etree.HTML(html) tr_list = p.xpath('//*[@id="list"]/table//tr') for tr in tr_list[1:]: ip = tr.xpath('./td[1]/text()')[0].strip() port = tr.xpath('./td[2]/text()')[0].strip() self.test_proxy(ip,port) def test_proxy(self,ip,port): proxies = { 'http':'http://{}:{}'.format(ip,port), 'https':'https://{}:{}'.format(ip,port) } try: res = requests.get(url=self.test_url,proxies=proxies,headers=self.headers,timeout=2) time.sleep(3) if res.status_code==200: print(ip,port,'\033[31m可用\033[0m') with open('proxy.text','a') as f: f.write(ip+':'+port+'\n') except Exception as e: print(ip,port,'不可用') def run(self): for i in range(1,5): url = self.url%i print(url) self.get_proxy_pool(url=url)if __name__ == '__main__': spider = ProxyPool() spider.run()