AI音频编辑

Podcastfy是一个开源的Python包，它使用生成式人工智能技术，将网页内容、PDF文件和文本转化为引人入胜的多语言音频对话。与传统的基于用户界面的工具不同，Podcastfy专注于程序化和定制化的生成，从多种文本源生成吸引人的、会话式的音频和文本，从而实现定制化和规模化。

seed-vc 是一个基于 SEED-TTS 架构的声音转换模型，能够实现零样本的声音转换，即无需特定人的声音样本即可转换声音。该技术在音频质量和音色相似性方面表现出色，具有很高的研究和应用价值。

whisper-diarization是一个结合了Whisper自动语音识别(ASR)能力、声音活动检测(VAD)和说话人嵌入技术的开源项目。它通过提取音频中的声音部分来提高说话人嵌入的准确性，然后使用Whisper生成转录文本，并通过WhisperX校正时间戳和对齐，以减少由于时间偏移导致的分割错误。接着，使用MarbleNet进行VAD和分割以排除静音，TitaNet用于提取说话人嵌入以识别每个段落的说话人，最后将结果与WhisperX生成的时间戳关联，基于时间戳检测每个单词的说话人，并使用标点模型重新对齐以补偿小的时间偏移。

Audio Isolation 是 ElevenLabs 提供的一项在线音频处理服务，专注于从音频中分离出人声或背景音乐。这项技术在音乐制作、视频后期制作等领域具有重要应用价值，能够显著提高音频编辑的效率和质量。产品通过 API 提供服务，支持多种编程语言的调用，具有高度的灵活性和便捷性。定价方面，API 按照处理的音频字符数每分钟收费，具体价格未在页面上明确标注。

AudioSeal 是一种用于AI生成语音音频的本地化水印技术，具有最先进的鲁棒性和极快的检测速度。它通过联合训练一个嵌入水印的生成器和一个检测器，即使在音频编辑的情况下，也能在较长的音频中检测到水印片段。AudioSeal 设计了一个快速的单次通过检测器，检测速度比现有模型快两个数量级，非常适合大规模和实时应用。

LookOnceToHear 是一种创新的智能耳机交互系统，允许用户通过简单的视觉识别来选择想要听到的目标说话者。这项技术在 CHI 2024 上获得了最佳论文荣誉提名。它通过合成音频混合、头相关传输函数(HRTFs)和双耳房间脉冲响应(BRIRs)来实现实时语音提取，为用户提供了一种新颖的交互方式。