用CONNECT方法突破HTTP代理服务器的扩展名封锁(python) [转]
公司里的电脑是通过一台内部代理服务器上网的，为了节省带宽，对下载进行了限制。方法是过滤URL中的扩展名，如'exe','rar','tar.gz'等，并且限制了连接时间，当连接时间超过2分钟就主动断开。这样平常就只能看看网页了，要下载就要申请，非常麻烦。虽说可以通过“问号大法”来解决URL过滤，wget来解决断点续传，但这样还是不好，下大一点的文件或网速慢一点时，要断线好几十次。一次偶然的机会发现公司的代理服务器没有限制CONNECT命令，哈哈，终于可以解决下载问题了。
通过向代理服务器发送CONNECT命令，可以让代理服务器和目标主机的目标端口建立一个连接，这样本机和目标主机就有了一个通道。从此以后向代理服务器发送命令就等于向目标主机发送命令。这和一般的GET方式不同，完全不受过滤机制的影响。先来看看两种方式的不同之处，
GET方式：
socket.connect('HTTP代理服务器IP',HTTP代理服务器端口)
socket.send('GET http://XXX.XXX.XXX/XXX.EXE HTTP/1.1\r\n
HOST: XXX.XXX.XXX\r\n\r\n')
CONNECT方式：
socket.connect('HTTP代理服务器IP',HTTP代理服务器端口)
socket.send('CONNECT XXX.XXX.XXX:80 HTTP/1.1\r\n\r\n')
socket.recv(1024)
socket.send('GET /XXX.EXE HTTP/1.1\r\n
HOST: XXX.XXX.XXX\r\n\r\n')
就是这么简单，下面就用python来完成编码。python有很多对http协议的封装库，如urllib2,httplib等。但我不知urllib2如何设置connect方式的代理，懒得去研究了。所以直接用socket来实现。相对于C++，用python来操作socket是如此的简单优雅。
pget.py:
import socket
import sys
#如果参数<1则显示信息
if len(sys.argv)<2:
print 'proxyGet v0.3 \n\
Written by Wangfan\n\
Powered by Python 2.5\n\n\
Usage:\n\
pget [URL]'
sys.exit()
#URL处理函数，得到文件名、HOST、GET请求
def parseURL(url):
url=url.split('/')
file_name=url[-1].strip()
host=url[2]
del url[0]
del url[0]
del url[0]
header_get='/'+'/'.join(url)
return (file_name,host,header_get)
urlInfo=parseURL(sys.argv[1])
print '***pget v0.3***\n\n\
File Name: %s\n\
From: %s\n\
GET: %s\n\
' %(urlInfo[0],urlInfo[1],urlInfo[2])
#确认可以开始下载
input_char=raw_input('ok?(press "y" to start,press other to exit):')
if input_char!='y':
sys.exit()
#初始化socket
s=socket.socket()
#连接代理服务器
s.connect(('10.100.1.206',3128))
#发送CONNECT命令，连接目标主机
s.send('CONNECT '+urlInfo[1]+':80 HTTP/1.1\n\n')
#得到回应
print 'Proxy:',s.recv(1024).strip()
#发送下载请求和头信息
s.send('GET '+urlInfo[2]+' HTTP/1.1\r\n\
Host: '+urlInfo[1]+'\r\n\
User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.0.3) Gecko/2008092417 Firefox/3.0.3\r\n\
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8\r\n\
Accept-Language: en-us,en;q=0.5\r\n\
Accept-Encoding: gzip,deflate\r\n\
Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7\r\n\
Keep-Alive: 300\r\n\
Proxy-Connection: keep-alive\r\n\r\n')
r=''
headers=''
content_length=0
header_end=False
#循环读取，处理回应的头信息和内容
while True:
r+=s.recv(1)
downloaded=len(r)
if header_end==False:
if r.find('\r\n\r\n')!=-1:
headers=r.split('\r\n\r\n')[0]
print headers
for header in headers.split('\r\n'):
if header.split(':')[0]=='Content-Length':
content_length=int(header.split(':')[-1])
if header.split(':')[0]=='Location':
sys.exit()
r=''
header_end=True
if content_length==0:
sys.exit()
if downloaded%1024==0:
#输出下载进度
print '\r[',int((downloaded/1024)/float(content_length/1024)*100),'%]',downloaded/1024,'KB /',content_length/1024,'KB',
#如果已下载的内容长度等于头信息中长度则跳出
if downloaded==content_length:
break
#保存文件
fp=open(urlInfo[0],'wb')
fp.write(r)
fp.close()
s.close()
sys.exit()
由于不想占用过多的带宽，所以没有加入多线程。但是，可以扩展的地方还有很多，比如断点续传等，以后有空再完善吧，先做个可以用的原型:)