AI学术研究

Cheating LLM Benchmarks 是一个研究项目，旨在通过构建所谓的“零模型”（null models）来探索在自动语言模型（LLM）基准测试中的作弊行为。该项目通过实验发现，即使是简单的零模型也能在这些基准测试中取得高胜率，这挑战了现有基准测试的有效性和可靠性。该研究对于理解当前语言模型的局限性和改进基准测试方法具有重要意义。

ICSFSurvey是一个关于大型语言模型内部一致性和自我反馈的调查研究。它提供了对LLMs自我评估和自我更新机制的统一视角，包括理论框架、系统分类、评估方法、未来研究方向等。

Platonic Representation Hypothesis（柏拉图表示假设）是一个关于不同AI系统如何学习和表示现实世界的理论。该理论认为，尽管不同AI系统可能以不同的方式学习（例如图像、文本等），但它们的内部表示最终会趋于一致。这种观点基于所有数据（图像、文本、声音等）都是某种底层现实的投影这一直觉。该理论还探讨了如何衡量表示的一致性，以及导致一致性的因素，如任务和数据压力，以及模型容量的增加。此外，还讨论了这种一致性可能带来的意义和限制。