AI语音识别

WhisperKit是一个用于自动语音识别模型压缩与优化的工具。它支持对模型进行压缩和优化，并提供了详细的性能评估数据。WhisperKit还提供了针对不同数据集和模型格式的质量保证认证，并支持本地复现测试结果。

Whisper 是一个通用的语音识别模型。它经过大量多样化音频的训练，并且是一个多任务模型，可以进行多语言语音识别、语音翻译和语种识别。

NVAS3d是一个用于估计包含多个未知声源的场景中任何位置的声音的项目，通过使用多个麦克风的音频录音和场景的3D几何和材料，实现了新视角声学合成。

SALMONN是由清华大学电子工程系和字节跳动开发的大型语言模型（LLM），支持语音、音频事件和音乐输入。与仅支持语音或音频事件输入的模型不同，SALMONN可以感知和理解各种音频输入，从而获得多语言语音识别和翻译以及音频-语音共推理等新兴能力。这可以被视为给予LLM“听觉”和认知听觉能力，使SALMONN成为通向具有听觉能力的人工通用智能的一步。