AI安全

JailbreakZoo是一个专注于破解大型模型（包括大型语言模型和视觉语言模型）的资源库。该项目旨在探索这些高级AI模型的漏洞、利用方法和防御机制，目的是促进对大规模AI系统安全方面的更深入理解和认识。

Frontier Safety Framework是Google DeepMind提出的一套协议，用于主动识别未来AI能力可能导致严重伤害的情况，并建立机制来检测和减轻这些风险。该框架专注于模型层面的强大能力，如卓越的代理能力或复杂的网络能力。它旨在补充我们的对齐研究，即训练模型按照人类价值观和社会目标行事，以及Google现有的AI责任和安全实践。

PyRIT是由Azure开发的Python风险识别工具，旨在帮助安全专业人员和机器学习工程师主动发现其生成AI系统中的风险。该工具自动化了AI红队任务，使操作者能够专注于更复杂和耗时的任务，同时能够识别安全和隐私危害。