合 NVIDIA GPU常用命令及设置汇总

简介

大多数用户知道如何检查其CPU的状态，查看多少系统内存可用或找出多少磁盘空间可用。相反，从历史上看，保持GPU的运行状况和状态更加困难。如果您不知道在哪里看，甚至可能很难确定系统中GPU的类型和功能。值得庆幸的是，NVIDIA最新的硬件和软件工具在这方面取得了不错的改进。

该工具是NVIDIA的系统管理界面（nvidia-smi）。根据卡的生成方式，可以收集各种级别的信息。此外，可以启用和禁用GPU配置选项（例如ECC内存功能）。

顺便说一句，如果您发现在使NVIDIA GPU运行GPGPU代码方面遇到困难，这nvidia-smi会很方便。例如，在某些系统上/dev，启动时未创建正确的NVIDIA设备。nvidia-smi以root身份运行简单查询将初始化所有卡，并在中创建合适的设备/dev。在其他时候，确保所有GPU卡可见并正确通信非常有用。这是带有四个Tesla V100 GPU卡的最新版本的默认输出：

持续模式

在Linux上，您可以将GPU设置为持久模式，以使NVIDIA驱动程序加载，即使没有应用程序在访问这些卡也是如此。当您要运行一系列短期作业时，此功能特别有用。持久模式每个闲置的GPU使用更多的功率，但是可以防止每次启动GPU应用程序时出现相当长的延迟。如果您已为GPU分配了特定的时钟速度或功率限制，则也很有必要（因为在卸载NVIDIA驱动程序时这些更改会丢失）。通过运行以下命令在所有GPU上启用持久性模式：

在Windows上，nvidia-smi无法设置持久性模式。相反，您需要将计算GPU设置为TCC模式。这应该通过NVIDIA的图形GPU设备管理面板来完成。

nvidia-smi支持的GPU

NVIDIA的SMI工具基本上支持自2011年以来发布的所有NVIDIA GPU。这些工具包括Fermi和更高架构家族（Kepler，Maxwell，Pascal，Volta等）的Tesla，Quadro和GeForce设备。

支持的产品包括：

Tesla：S1070，S2050，C1060，C2050 / 70，M2050 / 70/90，X2070 / 90，K10，K20，K20X，K40，K80，M40，P40，P100，V100

Quadro：4000、5000、6000、7000，M2070-Q，K系列，M系列，P系列，RTX系列

GeForce：支持级别不同，可用指标少于特斯拉和Quadro产品

查询GPU状态

我们为客户提供基准测试服务的Microway的GPU Test Drive集群包含一组NVIDIA最新的Tesla GPU。这些是NVIDIA的高性能计算GPU，可提供大量的运行状况和状态信息。以下示例摘自该内部群集。

要列出所有可用的NVIDIA设备，请运行：

要列出有关每个GPU的某些详细信息，请尝试：

要以1秒的更新间隔监视总体GPU使用情况：

nvidia-smi dmon

要以1秒的更新间隔监视每个进程的GPU使用情况：

监控和管理GPU Boost

NVIDIA在较新的GPU中包含的GPU Boost功能允许GPU时钟根据负载而变化（只要有可用的功率和散热空间，就可以实现最佳性能）。但是，可用空间的大小会因应用程序（甚至是输入文件！）而异，因此用户和管理员应密切注意GPU的状态。

可以显示每个GPU（在本例中为Tesla V100）的可用时钟速度列表：

后续精彩内容已被站长无情隐藏，请输入验证码解锁本文！

验证码：

获取验证码： 请先关注本站微信公众号，然后回复“验证码”，获取验证码。在微信里搜索“AiDBA”或者“dbaup6”或者微信扫描右侧二维码都可以关注本站微信公众号。