科技媒体 The Decoder 昨日(9 月 19 日)发布博文,报道称在聊天机器人竞技场(Chatbot Arena)上,OpenAI 的新人工智能模型 o1-preview 和 o1-mini 问鼎榜首。
聊天机器人竞技场简介
聊天机器人竞技场是一个比较人工智能模型的平台,它利用 6000 多个社区评分对新的 OpenAI 系统进行了评估。
结果
结果显示,o1-preview 和 o1-mini 尤其在数学任务、复杂提示和编程方面表现出色。
Lmsys 提供的数学模型优势图表清楚地显示,o1-preview 和 o1-mini 的得分超过 1360 分,远高于其他模型的表现。IT之家附上相关截图如下:
O1 的目标是为人工智能推理设定一个通用新标准,即在回答前“思考”" 更长时间。
然而,O1 模型并非在所有方面都优于 GPT-4o。许多任务并不需要复杂的逻辑推理,有时 GPT-4o 的反应更快。
注意事项
o1-preview 和 o1-mini 的票数远低于 GPT-4o 或 Anthropic's Claude 3.5 等成熟模型,每个模型都只有不到 3000 条评论,这样小的样本量可能无法准确代表实际结果,限制结果的意义。