AI模型推理训练

OpenAI Embedding Models是一系列新型嵌入模型，包括两个全新的嵌入模型和更新的GPT-4 Turbo预览模型、GPT-3.5 Turbo模型以及文本内容审核模型。默认情况下，发送到OpenAI API的数据不会用于训练或改进OpenAI模型。新的嵌入模型具有更低的定价，包括更小、高效的text-embedding-3-small模型和更大、更强大的text-embedding-3-large模型。嵌入是表示自然语言或代码等内容中概念的一系列数字。嵌入使得机器学习模型和其他算法更容易理解内容之间的关系，并执行聚类或检索等任务。它们为ChatGPT和Assistants API中的知识检索以及许多检索增强生成（RAG）开发工具提供支持。text-embedding-3-small是新的高效嵌入模型，相比其前身text-embedding-ada-002模型，性能更强，MIRACL的平均分数从31.4%提升至44.0%，而在英语任务（MTEB）的平均分数从61.0%提升至62.3%。text-embedding-3-small的定价也比之前的text-embedding-ada-002模型降低了5倍，从每千个标记的价格$0.0001降至$0.00002。text-embedding-3-large是新一代更大的嵌入模型，能够创建高达3072维的嵌入。性能更强，MIRACL的平均分数从31.4%提升至54.9%，而在MTEB的平均分数从61.0%提升至64.6%。text-embedding-3-large的定价为$0.00013/千个标记。此外，我们还支持缩短嵌入的原生功能，使得开发者可以在性能和成本之间进行权衡。

ReFT是一种增强大型语言模型（LLMs）推理能力的简单而有效的方法。它首先通过监督微调（SFT）对模型进行预热，然后使用在线强化学习，具体来说是本文中的PPO算法，进一步微调模型。ReFT通过自动对给定问题进行大量推理路径的采样，并从真实答案中自然地得出奖励，从而显著优于SFT。ReFT的性能可能通过结合推理时策略（如多数投票和重新排名）进一步提升。需要注意的是，ReFT通过学习与SFT相同的训练问题而获得改进，而无需依赖额外或增强的训练问题。这表明ReFT具有更强的泛化能力。

PowerInfer 是一个在个人电脑上利用消费级 GPU 进行高速大型语言模型推理的引擎。它利用 LLM 推理中的高局部性特点，通过预加载热激活的神经元到 GPU 上，从而显著降低了 GPU 内存需求和 CPU-GPU 数据传输。PowerInfer 还集成了自适应预测器和神经元感知的稀疏运算符，优化神经元激活和计算稀疏性的效率。它可以在单个 NVIDIA RTX 4090 GPU 上以平均每秒 13.20 个标记的生成速率进行推理，比顶级服务器级 A100 GPU 仅低 18%。同时保持模型准确性。