AI语音识别

SafeEar是一个创新的音频深度检测框架，它能够在不依赖于语音内容的情况下检测深度音频。这个框架通过设计一个神经音频编解码器，将语义和声学信息从音频样本中分离出来，仅使用声学信息（如韵律和音色）进行深度检测，从而保护了语音内容的隐私。SafeEar通过在真实世界中增强编解码器来提高检测器的能力，使其能够识别各种深度音频。该框架在四个基准数据集上的广泛实验表明，SafeEar在检测各种深度技术方面非常有效，其等错误率（EER）低至2.02%。同时，它还能保护五种语言的语音内容不被机器和人类听觉分析破译，通过我们的用户研究和单词错误率（WER）均高于93.93%来证明。此外，SafeEar还构建了一个用于反深度和反内容恢复评估的基准，为未来在音频隐私保护和深度检测领域的研究提供了基础。

Seed-ASR是由字节跳动公司开发的基于大型语言模型(Large Language Model, LLM)的语音识别模型。它通过将连续的语音表示和上下文信息输入到LLM中，利用LLM的能力，在大规模训练和上下文感知能力的引导下，显著提高了在包括多个领域、口音/方言和语言的综合评估集上的表现。与最近发布的大型ASR模型相比，Seed-ASR在中英文公共测试集上实现了10%-40%的词错误率降低，进一步证明了其强大的性能。

Health Acoustic Representations (HeAR) 是由谷歌研究团队开发的生物声学基础模型，旨在通过分析人体发出的声音，如咳嗽声，来识别疾病的早期迹象。该模型经过了3亿条音频数据的训练，特别针对咳嗽声音使用了约1亿条数据。HeAR 能够识别与健康相关的声音模式，为医疗音频分析提供了强大的基础。HeAR 模型在多种任务中的表现优于其他模型，并在不同麦克风上具有更好的泛化能力。此外，使用 HeAR 训练的模型在训练数据较少的情况下也能达到高性能，这对于数据稀缺的医疗研究领域至关重要。HeAR 目前已向研究人员开放，以加速开发定制的生物声学模型，减少数据、设置和计算的需求。

Emilia是一个开源的多语种野外语音数据集，专为大规模语音生成研究设计。它包含超过101,000小时的六种语言高质量语音数据和相应的文本转录，覆盖了各种说话风格和内容类型，如脱口秀、访谈、辩论、体育评论和有声书。

FunAudioLLM是一个旨在增强人类与大型语言模型(Large Language Models, LLMs)之间自然语音交互的框架。它包含两个创新模型：SenseVoice负责高精度多语种语音识别、情绪识别和音频事件检测；CosyVoice负责自然语音生成，支持多语种、音色和情绪控制。SenseVoice支持超过50种语言，具有极低的延迟；CosyVoice擅长多语种语音生成、零样本上下文生成、跨语言语音克隆和指令跟随能力。相关模型已在Modelscope和Huggingface上开源，并在GitHub上发布了相应的训练、推理和微调代码。

SenseVoice是一个包含自动语音识别(ASR)、语音语言识别(LID)、语音情感识别(SER)和音频事件检测(AED)等多语音理解能力的语音基础模型。它专注于高精度多语种语音识别、语音情感识别和音频事件检测，支持超过50种语言，识别性能超越Whisper模型。模型采用非自回归端到端框架，推理延迟极低，是实时语音处理的理想选择。

Azure 认知服务语音是微软推出的一款语音识别与合成服务，支持超过100种语言和方言的语音转文本和文本转语音功能。它通过创建可处理特定术语、背景噪音和重音的自定义语音模型，提高听录的准确度。此外，该服务还支持实时语音转文本、语音翻译、文本转语音等功能，适用于多种商业场景，如字幕生成、通话后听录分析、视频翻译等。