并行计算

正在进行中的研究：并行计算

Giga Floating Point Operations Per Second，意思是每秒能够进行多少 十亿次浮点运算

高性能计算集群中常用的网络连接技术

好像用的不是IP协议？

大致速度：即使是最早期的 SDR (10 Gb/s) 端口，使用 IPoIB 也能到 1 GB/s 左右；常见的 FDR (56 Gb/s) 甚至应在 6 GB/s 以上【AI】

AI：在并行计算（Parallel Computing）中，overhead（开销）指的是为了实现并行而额外增加的时间或资源消耗，这些消耗本身并不直接用于实际的计算任务。可以简单理解为：让多个任务“协作”时，不得不花的“沟通、协调、安排、管理”的额外时间。

1. 任务划分开销：把一个大任务分成很多小任务，这个过程本身就需要消耗一定的时间和资源。
2. 通信开销：多个处理单元（如多个CPU核、多台服务器）在协作时，彼此之间需要交换数据，这种“传话”的时间就是通信开销。
3. 同步开销：并行计算时，有时候任务之间需要等待（比如A等B的数据），这种互相等待就是同步开销。
4. 调度与管理开销：管理任务的分配、收集结果、处理错误等，都属于调度开销。

指那些在执行过程中，其数据总量超出了 GPU 显存（memory）容量，但仍然能通过特殊策略在 GPU 上运行的应用程序。

每个输出元素的值是其“邻域”元素的输入值的函数

一般是公益性质？

1. BOINC https://boinc.berkeley.edu/ https://github.com/BOINC/boinc
2. Folding@Home https://foldingathome.org/

1. Message Passing Interface，缩写MPI，是一种分布式并行计算中最常用的通信标准
2. 任务并行（Task Parallelism）是一种 并行计算范式，强调同时执行多个不同任务，而不是对同一数据执行相同操作（那是数据并行）