AI 模型推理训练

Reflection Llama-3.1 70B 是目前世界上顶尖的开源大型语言模型（LLM），采用名为 Reflection-Tuning 的新技术进行训练，使模型能够检测其推理中的错误并进行修正。该模型在合成数据上进行了训练，这些数据由 Glaive 生成。对于正在训练模型的用户来说，Glaive 是一个非常出色的工具。该模型使用标准的 Llama 3.1 聊天格式，通过特殊的标签来区分模型的内部思考和最终答案，从而提升用户体验。

MiniCPM3-4B是MiniCPM系列的第三代产品，整体性能超越了Phi-3.5-mini-Instruct和GPT-3.5-Turbo-0125，与许多近期的7B至9B模型相当。与前两代相比，MiniCPM3-4B具有更强大的多功能性，支持函数调用和代码解释器，使其能够更广泛地应用于各种场景。此外，MiniCPM3-4B拥有32k的上下文窗口，配合LLMxMapReduce技术，理论上可以处理无限上下文，而无需大量内存。

C4AI Command R+ 08-2024是一个拥有104B参数的大规模研究发布模型，具备高度先进的能力，包括检索增强生成（RAG）和工具使用，以自动化复杂任务。该模型支持23种语言的训练，并在10种语言中进行评估。它优化了多种用例，包括推理、总结和问答。

Mistral NeMo 是由 Mistral AI 与 NVIDIA 合作构建的 12B 模型，具有 128k 个令牌的大型上下文窗口。它在推理、世界知识和编码准确性方面处于领先地位。该模型专为全球多语言应用程序设计，支持英语、法语、德语、西班牙语、意大利语、葡萄牙语、中文、日语、韩语、阿拉伯语和印地语等多种语言。Mistral NeMo 还使用了新的分词器 Tekken，提高了文本和源代码的压缩效率。此外，该模型经过指令微调，提升了遵循精确指令、推理、处理多轮对话和生成代码的能力。

Llama-3-Groq-8B-Tool-Use模型是为高级工具使用和功能调用任务特别设计的8B参数因果语言模型。该模型经过优化的变换器架构，通过完全微调和直接偏好优化（DPO）在Llama 3 8B基础模型上进行训练。它在涉及API交互、结构化数据操作和复杂工具使用的任务中表现出色。然而，用户应注意，该模型可能在某些情况下产生不准确或有偏见的内容，并且用户需要为其特定用例实施适当的安全措施。

Mistral Small 是针对低延迟和成本优化的新型模型，优于 Mixtral 8x7B，具有更低的延迟，是开放权重产品和旗舰模型之间的卓越中间解决方案。Mistral Small 具有与 Mistral Large 相同的创新，包括RAG-enablement和函数调用。我们简化了终端点供应，提供开放权重终端点以具有竞争性的定价，并推出了新的优化模型终端点 mistral-small-2402 和 mistral-large-2402。