以下是关于 NVIDIA GPU 开发环境中各个组件（显卡型号、驱动版本、CUDA Driver、CUDA Runtime、CUDA Toolkit、nvcc、NVIDIA 其他 Toolkit/SDK）之间的层级结构、包含关系和版本对应逻辑的清晰总结。

一、总体层级结构（由底到上）

硬件层（物理）
└── 1. GPU 显卡（如 RTX 3060，A100）
     └── 定义“计算能力” (Compute Capability)，例如 8.6

驱动层（系统支持）
└── 2. NVIDIA 显卡驱动（NVIDIA Driver）
     └── 提供 CUDA Driver（内嵌）
         └── 支持运行 CUDA 程序（最大支持某一版本的 CUDA Toolkit）

开发工具层（编译和构建）
└── 3. CUDA Toolkit（例如 12.3）
     ├── 包含 nvcc 编译器
     ├── 包含 CUDA Runtime（如 libcudart.so）
     └── 包含开发库（cuBLAS、cuFFT 等）

应用层（程序）
└── 4. 你的 CUDA 应用程序
     └── 使用 nvcc 编译，依赖 Runtime，运行时受 CUDA Driver 支持

二、组件定义与关系说明

三、版本关系（重点）

四、安装和使用注意事项

1. CUDA Toolkit 可以并存多个版本，如 /usr/local/cuda-11.8, /usr/local/cuda-12.3
2. 系统只能有一个 NVIDIA 驱动版本，它决定你最多能运行哪个版本的 CUDA Toolkit 程序
3. nvcc 版本 = 当前使用的 Toolkit 版本

4. 如果程序编译用了 CUDA 12.3，那么运行时至少需要：

   • NVIDIA 驱动支持 CUDA Driver 12.3
   • 存在 CUDA Runtime 12.3 的动态库（系统或打包）

五、示意图（简化版）

[GPU: RTX 3060] -- supports compute capability 8.6
        ↓
[NVIDIA Driver: 535.104] -- includes CUDA Driver API (max 12.2)
        ↓
[CUDA Toolkit 12.1]
    ├── nvcc 12.1
    ├── libcudart.so (Runtime 12.1)
    └── cuBLAS, cuFFT, etc.
        ↓
[Your CUDA App] (compiled with nvcc 12.1)

nvidia-smi结果：
NVIDIA-SMI 535.104.12 Driver Version: 535.104.12 CUDA Version: 12.2
Driver Version: 535.104.12: 安装的 NVIDIA 驱动版本
CUDA Version: 12.2: 表示这个驱动最多支持 CUDA Toolkit 12.2