1. Nvidia Developer https://developer.nvidia.com/
2. NVIDIA Developer Tools Catalog https://developer.nvidia.com/developer-tools-catalog

包含在CUDA Toolkit中的lib，基本上这些都可以直接使用（需要手动link一下），更多的cuda lib参照：CUDA库

链接方法类似这样：-lcublas -lcusolver

注意：

1. 后缀【Mg】一般代表multi-gpu，比如cuSOLVER是单GPU版本，cuSOLVER Mg是支持多GPU的版本
2. 本页面使用AI辅助总结，可能有错误，以CUDA Toolkit的文档为准：https://docs.nvidia.com/cuda/archive/12.9.0/
3. CUDA Libraries Documentation https://docs.nvidia.com/cuda-libraries/index.html

Basic Linear Algebra on NVIDIA GPUs
一级和二级 BLAS 操作（如矩阵乘法、向量运算）
https://developer.nvidia.com/cublas

高性能 1D/2D/3D 快速傅里叶变换

伪随机与准随机数生成 API

密集和稀疏矩阵的分解与求解（类似 LAPACK）

稀疏矩阵乘法与 BLAS 运算

通用张量线性代数（einsum、contraction）

用于结构化稀疏矩阵的轻量级 BLAS

稀疏矩阵直接解算器

标准数学函数（如 sin、exp 等）GPU 加速

CUDA 加速的图像、信号处理函数（滤波、几何变换等）

GPU 加速的 JPEG 编解码

JPEG2000 编码/解码

高层 STL 风格并行算法（sort、scan 等）

低层 device-side 原语（warp/block reduction 等）

多 GPU 的 collectives（all-reduce、broadcast 等）

CUDA 运行时 JIT 编译器（Runtime Compilation）

GPU 管理、内存、流等运行时支持