opencv安装

pip install opencv-python

依赖安装

# libglvnd-1:1.3.2-1.tl3.x86_64 # libglvnd-glx-1:1.3.2-1.tl3.x86_64 # libxshmfence-1.3-2.tl3.x86_64 # mesa-libGL-20.3.3-2.tl3.x86_64 # mesa-libglapi-20.3.3-2.tl3.x86_64 yum install libGL

step1. 准备环境

redis安装在centos上使用

yum install redis

安装完成后，配置路径在

/etc/redis.conf

python安装参考linux环境下安装多个任意版本的python环境

step2. 安装proxy_pool开源代码

pip3 install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple/

# 这里一定要升级一下flask，否则后续一定会报错

pip3 install Flask==2.0 -i https://pypi.tuna.tsinghua.edu.cn/simple/

step3. 配置redis

配置

vim /etc/redis.conf

# 找到requirepass 去掉注释，设置密码

requirepass 123456

# 找到daemonize 去掉注释，改为yes，设置守护线程

daemonize yes

在Linux上，如果开了redis的守护进程，kill -9和redis-cli shutdown 命令是无法杀掉 redis 进程的 ，杀掉就会重新启动一个新的进程

最后在网上找到这个命令，可以杀掉redis的守护线程：

/etc/init.d/redis-server stop

启动和验证

# 若命令直接返回，说明守护线程已经开启

redis-server /etc/redis.conf #测试， 返回PONG说明启动成功 redis-cli 127.0.0.1：6379 > auth 123456 127.0.0.1：6379 > ping PONG

step4. 配置setting.py

HOST 不用改，PORT也可以不用改，这是你flask打开的默认地址，

数据库需要改一下，pwd改成你刚才设置的"123456"或者你自己设置的值。

端口改成6379。因为我们没有改redis-server的地址。

其他的不用动。然后再启动python脚本。

# setting.py 为项目配置文件 # 配置API服务 HOST = "0.0.0.0" # IP PORT = 5000 # 监听端口 # 配置数据库 DB_CONN = 'redis://:[email protected]:8888/0' # 配置 ProxyFetcher PROXY_FETCHER = [ "freeProxy01", # 这里是启用的代理抓取方法名，所有fetch方法位于fetcher/proxyFetcher.py "freeProxy02", # .... ]

step5. 后台启动python脚本

nohup python -u proxyPool.py schedule > schedule.log 2>&1 & nohup python -u proxyPool.py server > server.log 2>&1 & ps -ef | grep python

这样以后就可以关闭终端，而保持进程在运行了。