GNU Parallel

定义

GNU Parallel 是由 Ole Tange 开发的命令行并行化工具,用 Perl 编写,能把输入列表拆分后并行交给多个进程(默认每核一个)执行,支持跨多台机器分发任务,是压榨多核性能的 Shell 利器。

特点

与 xargs -P 相比,Parallel 保证输出完整性与顺序:各任务的输出被缓冲,不会交错混杂,且默认按输入顺序输出;占位符丰富,如 {} 原样、{.} 去扩展名、{/} 取文件名、{#} 任务序号;支持失败重试、--joblog 记录任务日志、断点续跑(--resume)、--sshlogin 把任务分发到远程主机。

常用示例

ls *.wav | parallel ffmpeg -i {} {.}.mp3 并行转码;parallel -j 8 gzip ::: *.log 用 8 个进程压缩;cat urls.txt | parallel -j 20 wget -q 并发下载。