Whisper

训练数据与多语言能力

Whisper的训练数据达68万小时，涵盖99种语言，来自互联网上大规模爬取的音频-字幕对（YouTube字幕是重要来源）。与传统ASR训练方式不同，Whisper采用端到端的Transformer架构，将音频的mel频谱图直接输入，输出转写文字，不需要单独的语音活动检测、对齐等模块。

中文识别准确率在Whisper large-v2版本上尤为突出，即使在带口音、背景嘈杂的场景下词错率也低于许多商业服务。其时间戳功能还能精确到词级别，方便字幕制作。[1]

开源应用生态

Whisper以MIT协议开源，催生了大量实用工具：

• faster-whisper：基于CTranslate2的高速推理实现，速度是原版的4倍，内存占用减半
• whisper.cpp：纯C++实现，可在Mac、iPhone、树莓派上运行
• 字幕工具AutoSub、剪映等产品内置了Whisper作为离线转写引擎
• 会议记录工具（如Otter.ai竞品）大量使用Whisper API

OpenAI同时提供Whisper API（$0.006/分钟），是目前最便宜的商业语音转文字服务之一。