当前位置:首页 > CN2资讯 > 正文内容

linux semaphore使用 linux srun

3天前CN2资讯


远程操作Linux的常用指令

这是远程操作Linux系统时我常用的一些指令,还会继续更新的~


文章目录

  • 远程操作Linux的常用指令
  • GXU_HPC
  • 基本操作
  • sbatch 指令
  • Linux下装Conda+pytorch+tensorflow+keras
  • Screen指令
  • TOP相关指令
  • Scp命令
  • ZIP指令


GXU_HPC

基本操作

  • sinfo 查看队列和节点资源的占用情况
  • srun -p [queueName] -w [nodeName] python main.py
  • srun -N [nodeNumber] python main.py
  • salloc 进行资源分配,再 srun python main.py
  • scancel 取消一个已提交的作业
  • squeue 查看作业的运行状态
  • sbatch 指令

    执行 sbatch [脚本文件名],python.slurm 脚本文件如下:

    #!/bin/bash #SBATCH -J jobName #SBATCH -p gpu #SBATCH -N 1 #SBATCH -n 1 #SBATCH --gres=gpu:1 #SBATCH -o out.%j #SBATCH -e err.%j cd $SLURM_SUBMIT_DIR srun python train.py

    Linux下装Conda+pytorch+tensorflow+keras

    参考的文章:
    1、Linux下conda安装及使用2、Linux服务器安装conda+pytorch+tensorflow

  • 下载conda安装包
  • wget -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh
  • 使用安装包
  • sh Miniconda3-latest-Linux-x86_64.sh
  • 添加环境变量
  • vim ./bashrc # 添加 export PATH=~/miniconda3/bin:$PATH

    :wq 退出

    source ~/.bashrc

    参考:解决Linux下conda命令失效的问题每次进终端都得这样激活环境变量未免太过复杂,所以:

    在用户远程连接Linux后,系统一般会先执行~/.bash_profile文件,所以在~/.bash_profile文件开头添加如下代码:

    # 编辑 vim ~/.bash_profile # 添加 if test -f .bashrc ; then source .bashrc fi

    然后esc + “:” + "wq"保存退出。

  • 添加清华源
  • conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/ conda config --set show_channel_urls yes conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/

    清除源:

    conda config --remove-key channels
  • 创建名为python37的虚拟环境
  • # 创建环境 conda create -n python37 python==3.7 # 查看环境 conda env list # 激活环境 conda activate python37 或 source activate python37 # 离开环境 conda deactivate # 复制虚拟环境 conda create -n new-env2 --clone old-env1 # 删除虚拟环境 conda remove -n env-name --all
  • 激活虚拟环境后,可以安装pytorch、tensorflow等框架
    pytorch网址:https://pytorch.org,选相应的版本,我们学校的cuda是10.0.130,python是3.7.0,例如:
  • conda install pytorch==1.2.0 torchvision==0.4.0 cudatoolkit=10.0 conda install --channel https://conda.anaconda.org/anaconda tensorflow-gpu=1.14.0 conda install keras==2.2.5

    Screen指令

    screen -S 【name】 创建一个会话
    screen -S 【name】 -X quit 终止
    screen -d 【name】 离线detach
    screen -r 【name】 激活attached,回到name这个session
    screen -ls 列出当前会话

    一个会话下可以建多个窗口
    ctrl+a,c 创建一个新窗口
    ctrl+a, n/p 下一个/上一个窗口
    ctrl+a, d 暂时离开当前会话,放后台执行
    ctrl+d 或 exit 退出窗口

    TOP相关指令

    ps u 查看进程信息

    top 进程状态

    kill PID 杀死进程

    q 退出

    Scp命令

    1、从服务器上下载文件

    scp username@servername:/path/filename /var/www/local_dir(本地目录)

    例如scp [email protected]:/var/www/test.txt 把192.168.0.101上的/var/www/test.txt 的文件下载到/var/www/local_dir(本地目录)

    2、上传本地文件到服务器

    scp /path/filename username@servername:/path

    例如scp /var/www/test.php [email protected]:/var/www/ 把本机/var/www/目录下的test.php文件上传到192.168.0.101这台服务器上的/var/www/目录中

    3、从服务器下载整个目录

    scp -r username@servername:/var/www/remote_dir/(远程目录)/var/www/local_dir(本地目录)

    例如:scp -r [email protected]:/var/www/test /var/www/

    4、上传目录到服务器

    scp -r local_dir username@servername:remote_dir

    例如:scp -r test [email protected]:/var/www/ 把当前目录下的test目录上传到服务器的/var/www/ 目录

    ZIP指令

    远程服务器压缩解压ZIP

    1.压缩文件夹

    zip -r 目标文件名.zip 要压缩的文件夹

    2.把文件解压到目的地

    unzip 文件 目的地

    把/home目录下面的mydata.zip解压到mydatabak目录里面

    3.把文件解压到当前目录


      你可能想看:

      扫描二维码推送至手机访问。

      版权声明:本文由皇冠云发布,如需转载请注明出处。

      本文链接:https://www.idchg.com/info/25496.html

      分享给朋友:

      “linux semaphore使用 linux srun” 的相关文章

      2023年最佳VPS促销活动:如何以最低成本获得高性能服务器

      VPS促销的定义与重要性 VPS促销是指虚拟专用服务器(VPS)提供商为了吸引更多用户,通过提供折扣、优惠码或特价套餐等方式,降低用户购买成本的活动。这种促销形式在VPS市场中非常常见,尤其对于中小企业和个人开发者来说,能够在保证性能的同时节省开支。VPS促销的重要性在于,它不仅让用户以更低的价格获...

      解决Hostodo打不开的有效方法和详细步骤

      在使用Hostodo的过程中,偶尔会遇到打不开的情况。这种问题可能会让人感到挫败,但其实有几个常见原因可以帮助我们找到解决办法。首先,网络连接问题是最普遍的原因之一。无论是局域网的配置,还是Wi-Fi的信号不稳定,都会导致连接失败。我记得第一次遇到这种情况时,发现原来是我的路由器出了问题,重新启动后...

      什么是VPS?探索虚拟专用服务器的独立性与灵活性

      在现代互联网环境中,VPS(虚拟专用服务器)是许多人所关注的一个话题。它通过虚拟化技术,将一台物理服务器切割成多个独立的虚拟服务器。每个VPS都能独立运行自己的操作系统,拥有专属的内存、磁盘空间和带宽。这种设计让VPS在很多方面都表现得尤为出色,适合各种需求。 简单来说,VPS就像在一台大房子里有多...

      SSH Client Windows 登录指南:轻松配置与高级功能使用

      SSH 客户端在 Windows 中的概述 SSH,也就是安全外壳协议,是一种用来在网络中进行安全数据传输的协议。它确保数据的机密性和完整性,这对于网络管理员和开发者来说是至关重要的。在Windows中,SSH客户端直接关系到我们如何安全地登录到远程计算机。通过SSH,用户可以安全地执行命令、传输文...

      Vultr Cloud Computer与High Frequency服务器的全面对比

      在云服务的世界中,Vultr无疑是一个备受瞩目的名字。它提供两种主要的云服务器类型:Vultr Cloud Compute和High Frequency服务器。这两种服务器各有其独特之处,适合不同类型的用户和使用场景。 首先,Vultr Cloud Compute是其最基础的产品,主要以高性价比为卖...

      DNS服务器工作原理及其安全性详解

      DNS,或者称作域名系统,是互联网的基石之一。它的主要功能是将用户输入的域名转化为计算机能理解的IP地址,比如说,当我在浏览器中输入“www.example.com”时,DNS会帮助我找到这个网站所在的IP地址。想象一下,如果没有DNS系统,我们每次都得记住一串数字,那该有多麻烦呀。 DNS服务器是...