本文来自于微信公众号 AIGC开放社区(ID:AIGCOPEN),作者:AIGC开放社区。
1月26日凌晨,OpenAI在官网对ChatGPT模型进行了大更新,发布了两款全新大、小文本嵌入模型,全新的GPT-4Turbo模型(修复懒惰行为),免费的审核模型,并对新的GPT-3.5Turbo模型API进行了大幅度降价。
OpenAI还将推出全新的API秘钥和可视化管理方法,帮助开发人员更简单、直观地观察API使用情况,并对API密钥设置更详细的使用权限。
值得一提的是,全新的嵌入模型可以为ChatGPT 、Assistants API中的知识检索以及很多检索增强生成式开发工具提供技术支持。
全新文本嵌入模型
「AIGC开放社区」先简单介绍一下嵌入模型:嵌入是一串数字,代表了自然语言或代码等内容中的概念。嵌入也使得机器学习模型和其他算法更容易理解内容之间的关系,并执行分类、内容检索、搜索、推荐等任务。
同时嵌入是GPT系列模型的核心组成部分,用于将输入的文本(单词或字符)转换为数值向量,例如,词嵌入、位置嵌入、上下文嵌入,这些向量能够表示输入数据的丰富信息,提供更深层次的语义理解。
本次OpenAI发布了小文本嵌入模型text-embedding-3-small和大文本嵌入模型text-embedding-3-large,主要特色性能如下。
1)性能更强:根据OpenAI公布的性能测试,小文本嵌入模型的多语言检索(MIRACL)常用基准的平均得分从31.4% 增加至44.0%;英语任务(MTEB)常用基准的平均得分从61.0% 增加到62.3%。
大文本嵌入模型在MIRACL上,平均得分从31.4% 增加至54.9%,而在 MTEB 上,平均得分从61.0% 提高到64.6%,整体性能比小文本更强悍。
2)支持缩短嵌入节省成本:与较小的嵌入式相比,开发者在使用较大的嵌入式(例如,将其存储在向量存储区以进行检索)通常会花费更多的成本,消耗更多的AI算力、内存和存储空间。
为了帮助开发者节省成本,OpenAI允许开发人员通过传递维度API参数,来缩短嵌入模型(从序列末尾删除一些数字),而不会使嵌入模型失去其表示特性。
例如,在MTEB基准上,大文本嵌入模型可以缩短到256大小,但性能依然优于大小为1536的未缩短的小文本嵌入模型。
3)API价格:虽然全新的嵌入文本模型性能非常强,但OpenAI对API的价格进行了大降价,小文本嵌入模型的API价格与之前模型相比降了5倍,每1000tokens价格为0.00002美元。大文本嵌入模型是,每每1000tokens价格为0.00013美元。
全新GPT-4Turbo 预览模型
自 OpenAI发布GPT-4Turbo模型以来,超过70%的GPT-4API客户已转换为GPT-4Turbo。这是因为GPT-4Turbo可以提供更大的上下文以及性能。
现在,OpenAI发布了全新的GPT-4Turbo预览模型——gpt-4-0125-preview。
与之前相比,该模型能更好地完成代码生成等任务,同时修复了用户非常关注的懒惰行为,还修复了影响非英语 UTF-8生成的错误问题。
对于那些希望自动升级到最新GPT-4Turbo 预览版模型的开发者,将始终指向OpenAI最新的 GPT-4Turbo 预览版。
免费审核模型
为了帮助开发者降低ChatGPT的非法内容输出,提升安全性,OpenAI提供了免费的审核模型API。
此外,OpenAI还将发布一款迄今为止最强大的审核模型text-moderation-007,进一步提升模型的安全性。
API价格大降价
下周,OpenAI将推出GPT-3.5Turbo系列的全新模型——gpt-3.5-turbo-0125,同时对API价格大降价。
新模型的输入价格大降50%,每1000tokens价格为0.0005美元;输出价格降低25%,每1000tokens价格为0.0015美元。
同时该模型进行各种功能改进,包括,提高响应所要求格式的准确性,以及修复导致非英语语言函数调用出现文本编码错误的问题。
全新可视化API管理方法
为了帮助开发人员更高效地管理API,OpenAI提供了两种全新管理方法。
1)开发人员现在可以从API密钥页面,为API密钥分配详细权限。例如,可以为密钥分配只读访问权限以支持内部跟踪仪表板,或限制为只能访问某些特定端点。
2)在开启跟踪功能后,使用详情、导出功能现在可以显示API密钥级别的指标。因此,开发者只需为每个功能、团队、产品或项目设置单独的 API 密钥,就能轻松查看每个功能、团队、产品或项目级别的详细使用情况。
在未来几个月内,OpenAI将进一步提升开发人员对API的使用、观察和控制能力,这对于大型企业来说非常重要。
本文素材来源OpenAI官网