OpenAI新的嵌入模型和API更新

OpenAI新的嵌入模型和API更新

OpenAI正在推出新一代的嵌入模型,新的GPT-4 Turbo和调节模型,新的API使用管理工具,以及不久的GPT-3.5 Turbo的更低定价。

OpenAI正在发布新型号,降低GPT-3.5 Turbo的价格,并为开发人员引入管理API密钥和了解API使用情况的新方法。新型号包括:

  • 两种新的嵌入模型
  • 更新的GPT-4 Turbo预览模型
  • 更新的GPT-3.5 Turbo模型
  • 更新的文本审核模型

默认情况下,发送到OpenAI API的数据不会用于训练或改进OpenAI模型。如果你想了解更多关于ChatGPT的相关内容,可以阅读以下这些文章:
作为数据分析师,我一直在使用ChatGPT Vision
如何用ChatGPT取代谷歌?
ChatGPT越来越傻了吗?我们一起聊聊“AI Drift”
掌握ChatGPT的反向提示

我们引入了两种新的嵌入模型:一种是更小、更高效的text-embedding-3-small模型,另一种是更大、更强大的text-embedding-3-large模型。

嵌入是表示自然语言或代码等内容中的概念的数字序列。嵌入使机器学习模型和其他算法更容易理解内容之间的关系,并执行聚类或检索等任务。它们支持ChatGPT和Assistants API中的知识检索等应用程序,以及许多检索增强生成(RAG)开发人员工具。

text-embedding-3-small是OpenAI新的高效嵌入模型,比它的前身,2022年12月发布的text-embedding-ada-002模型提供了重大升级。

性能更强。将text-embedding-ada-002与text-embedding-3-small进行比较,多语言检索常用基准(MIRACL)的平均得分从31.4%提高到44.0%,而英语任务常用基准(MTEB)的平均得分从61.0%提高到62.3%。

降低价格。text- embeddings -3-small也比我们上一代的text- embeddings -ada-002模型更加高效。因此,与text- embeddings -ada-002相比,text- embeddings -3-small的定价降低了5倍,从每1k代币0.0001美元的价格降至0.00002美元。

OpenAI不会弃用text- embeddings -ada-002,因此虽然推荐较新的模型,也欢迎客户继续使用上一代模型。

一种新的大文本嵌入模型:text- embeddings -3-large

text- embeddings -3-large是OpenAI新的下一代更大的嵌入模型,可以创建多达3072维的嵌入。

性能更强。text- embeddings -3-large是OpenAI性能最佳的新模型。将text-embedding-ada-002与text-embedding-3-large进行比较:在MIRACL上,平均得分从31.4%提高到54.9%,而在MTEB上,平均得分从61.0%提高到64.6%。

text-embedding-3-large的定价为0.00013美元/ 1k代币。

你可以在OpenAI的嵌入指南中了解更多关于使用新的嵌入模型的信息。https://platform.openai.com/docs/guides/embeddings

使用较大的嵌入,例如将它们存储在矢量存储中进行检索,通常比使用较小的嵌入成本更高,并且消耗更多的计算、内存和存储。

OpenAI的两个新嵌入模型都是用一种技术进行训练,这使得开发人员可以权衡使用嵌入的性能和成本。具体来说,开发人员可以通过传入API参数来缩短嵌入(即从序列的末尾删除一些数字),而不会使嵌入失去其表示概念的属性dimensions。例如,在MTEB基准测试中,text-embedding-3-large的嵌入可以缩短到256的大小,同时仍然优于未缩短的text-embedding-ada-002的大小为1536的嵌入。

这使得使用非常灵活。例如,当使用只支持最长1024维嵌入的矢量数据存储时,开发人员现在仍然可以使用我们最好的嵌入模型text- embeddings -3-large,并为API参数指定1024的值,这将缩短嵌入从3072维,降低一些精度以换取较小的向量大小。

更新的GPT-3.5 Turbo模型和更低的价格

近期,OpenAI将推出一款新的GPT-3.5 Turbo型号,GPT-3.5 Turbo -0125,这是去年第三次,OpenAI将降低GPT-3.5 Turbo的价格,以帮助客户扩大规模。新模型的输入价格降低了50%至0.0005美元/1K代币,输出价格降低了25%,至0.0015美元/1K代币。该模型还将有各种改进,包括以更高的精度响应请求的格式,以及修复导致非英语函数调用的文本编码问题的错误。

使用固定GPT-3.5 Turbo模型别名的客户将在该模型推出两周后自动从GPT-3.5-turbo-0613升级为GPT-3.5-turbo-0125。

自从GPT-4发布以来,超过70%的来自GPT-4 API客户的请求已经过渡到GPT-4 Turbo,因为开发人员利用了其更新的知识边界、更大的128k上下文窗口和更低的价格。

OpenAI发布了一个更新的GPT-4 Turbo预览模型,GPT-4 -0125-预览。该模型比之前的预览模型更彻底地完成了代码生成等任务,并旨在减少模型无法完成任务的“惰性”情况。新模型还包括修复影响非英语UTF-8生成的错误。

对于那些想要自动升级到新的GPT-4 Turbo预览版本的人,OpenAI还引入了一个新的GPT-4 Turbo预览模型名称别名,这将始终指向OpenAI最新的GPT-4 Turbo预览模型。

OpenAI计划在未来几个月内推出GPT-4 Turbo,并将其推向市场。

免费的适度API允许开发人员识别潜在的有害文本。作为我们持续安全工作的一部分,OpenAI正在发布text-moderation-007,这是OpenAI迄今为止最稳健的审核模型。text-moderation-latest和text-moderation-stable别名已更新为指向它。你可以通过OpenAI的安全最佳实践指南了解有关构建安全AI系统的更多信息。

OpenAI将推出两项平台改进,让开发人员更清楚地了解自己的使用情况,并对API密钥进行控制。

首先,开发人员现在可以从API密钥页面为API密钥分配权限。例如,可以为一个密钥分配只读访问权限,以便为内部跟踪仪表板供电,或者将其限制为只能访问某些端点。

其次,在打开跟踪后,使用指示板和使用导出功能现在在API密钥级别上公开指标。这使得查看每个功能、团队、产品或项目级别的使用情况变得简单,只需为每个功能、团队、产品或项目提供单独的API密钥。

在接下来的几个月里,OpenAI计划进一步提高开发人员查看其API使用情况和管理API密钥的能力,特别是在大型组织中。

有关OpenAI API 的最新更新,请在X上关注@OpenAIDevs。

感谢阅读!你还可以订阅我们的YouTube频道,观看大量大数据行业相关公开课:https://www.youtube.com/channel/UCa8NLpvi70mHVsW4J_x9OeQ;在LinkedIn上关注我们,扩展你的人际网络!https://www.linkedin.com/company/dataapplab/

原文作者:OpenAI
翻译作者:Dou
美工编辑:过儿
校对审稿:Jason
原文链接:https://openai.com/blog/new-embedding-models-and-api-updates