近期,Jones和Bergen进行了一项关于GPT-4在图灵测试中的研究,结果显示其成功率超过41%。
这一数字相比于传统的人工智能模型,如ELIZA的27%和GPT-3.5的14%,表现出明显的优势。研究设计了25个不同的语言模型,涵盖了各种GPT的版本,其中包括GPT-4。这些模型使用类似于手机消息应用的界面,并在拼写错误、大小写、延迟等方面引入了小的随机变化。
图灵测试是通过与人类进行对话,然后判断对方是人类还是人工智能的测试。与原始的图灵测试不同,这项研究的测试设计更简化,要求参与者在最多5分钟的时间内进行对话,每条消息不超过300字符。共有652名人类参与者完成了1810次测试。
1950年,艾伦·图灵曾预测,到了他认为的未来50年,计算机将具备足够的存储能力,以70%的概率“欺骗”人类。然而,研究表明,即使到了现在,GPT-4等模型也未达到这一水平,最高成功率仅为41%。
有趣的是,研究指出GPT-4是付费版本,而GPT-3.5则是免费版本。这表明,付费版本在测试中表现更好,凸显了技术进步对结果质量的影响。
人工智能在图灵测试中取得的进展令人印象深刻,但与人类63%的成功率相比,仍有改进的空间。这一研究进一步探讨了人工智能的发展趋势,揭示了技术的潜在局限性。