Nvidia Multi-Instance GPU

参考文档

• 英伟达自A100引入的特性，目前支持的设备有H100，A100和A30。
• 可以将一张GPU分成7个虚拟的设备（A100和H100支持7个虚拟设备，A30支持4个虚拟设备），使各个应用可以独立运行，资源公平分配不会导致竞争。
• 使用指南 启用MIG后可以设置环境变量CUDA_VISIBLE_DEVICES=<MIG_UUID>令应用使用特定实例。