在 Linux 服务器上运行语言大模型时，了解剩余的显存和内存情况至关重要。

查看剩余显存

使用以下方法来查看剩余的显存：

  1. 使用 nvidia-smi 命令：

    1
    nvidia-smi

    这个命令会显示服务器上 GPU 的状态，包括显存的使用情况。
    输出示例:

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    +-----------------------------------------------------------------------------+
    | NVIDIA-SMI 450.66       Driver Version: 450.66       CUDA Version: 11.0     |
    |-------------------------------+----------------------+----------------------+
    | GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
    | Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
    |                               |                      |               MIG M. |
    |===============================+======================+======================|
    |   0  Tesla K80           Off  | 00000000:00:1E.0 Off |                    0 |
    | N/A   32C    P8    28W / 149W |    445MiB / 11441MiB |      0%      Default |
    |                               |                      |                  N/A |
    +-------------------------------+----------------------+----------------------+

  2. 使用 watch 命令实时监控：

    1
    watch -n 1 nvidia-smi

    可每秒刷新一次 nvidia-smi 输出，可以实时监控显存的使用情况。

查看剩余内存

使用以下方法来查看剩余的内存：

  1. 使用 free 命令：

    1
    free -h

    可显示系统内存的使用情况，包括已用内存、剩余内存等。

  2. 使用 top 或 htop 命令：

    1
    top

    或

    1
    htop

    可实时显示系统资源的使用情况，包括内存使用情况。