MPI(消息传递接口)

定义

MPI(Message Passing Interface,消息传递接口)是分布式内存并行编程的事实标准,1994 年发布 1.0 版本,由 MPI 论坛维护。它定义了一套与语言绑定的通信 API(主要是 C 和 Fortran),而非具体实现;常见实现包括开源的 MPICH、Open MPI 以及各厂商的优化版本。

编程模型

MPI 程序以多进程方式运行,每个进程拥有独立地址空间,通过显式消息传递协作:

• 点对点通信:Send/Recv 及其非阻塞变体。
• 集合通信:Broadcast、Scatter、Gather、AllReduce 等。
• 进程组与通信子:灵活划分通信域。

后续版本增加了单边通信、并行 I/O 和动态进程管理。

应用

气象模拟、计算流体力学、分子动力学等超算应用几乎全部基于 MPI;深度学习分布式训练的启动与进程管理也常借助 MPI,梯度通信语义(AllReduce)同样源自 MPI 传统。

地位

虽然编程门槛较高,MPI 至今仍是跨节点高性能并行计算不可替代的基础设施。