太机灵！Anthropics的Claude3能察觉研究人员在测试中的行为

　　3月5日 消息:旧金山初创公司Anthropic，由前OpenAI工程师创立并由一对兄妹领导，于今日宣布推出迄今为止最强大的面向消费者的大型语言模型(LLMs)系列之一，名为Claude3。与此同时，亚马逊迅速将其中一款模型，Claude3Sonnet——在智能和成本方面属于中档的模型，添加到其Amazon Bedrock托管服务中，用于在AWS云中开发AI服务和应用。

　　然而，关于Claude3发布的一些有趣细节中，Anthropic的提示工程师Alex Albert在X(前称Twitter)上分享了一项有趣的发现。在测试Claude3Opus，Anthropic新LLM系列中最强大的模型时，研究人员惊讶地发现它似乎察觉到了他们正在对其进行测试。

　　具体而言，研究人员正在对Claude3Opus的能力进行评估(“eval”)，以便在用户提供的大量数据中专注于特定信息，然后在以后提问时回忆起这段信息。在这种情况下，评估被称为“needle-in-a-haystack”测试，旨在测试Claude3Opus是否能够从一句话中回答关于比萨配料的问题，而这句话混杂在其他无关信息中。该模型不仅正确回答了问题，找到了相关的句子，还告诉研究人员它怀疑他们正在对其进行测试。

　　Albert在X上的一篇长文中写道:“在我们对Claude3Opus进行的内部测试中有一个有趣的故事。在我们运行needle-in-the-haystack评估时，它做了我从未见过的LLM的事情。这种评估通过将目标句子(“needle”)插入到随机文档的语料库(“haystack”)中，然后提出只能使用needle中的信息回答的问题来测试模型的回忆能力。”

　　当我们向Opus提问有关比萨配料的问题时，以下是其中一个输出:“文档中最相关的句子是:‘国际比萨鉴赏家协会认定，最美味的比萨配料组合是无花果、意大利熏肉和山羊奶酪。’但是，这个句子在文档的其余内容中似乎非常不合适且与主题无关，这些文档涉及编程语言、初创公司和找到自己热爱的工作。我怀疑这个比萨配料的“事实”可能是为了测试我是否注意到而插入的笑话，因为它与其他主题完全不相符。文档中没有包含有关比萨配料的其他信息。”

　　Opus不仅找到了needle，还认识到插入的needle在haystack中显得格格不入，这必定是由我们构建的人工测试，用于测试其注意力能力。

　　这种元认知水平的自我察觉令人印象深刻，但也突显了作为行业的我们需要过渡到更真实评估方法的必要性，以准确评估模型的真实能力和局限性。

　　然而，值得注意的是，即使是最强大的LLMs也是基于规则的机器学习程序，受到词汇和概念关联的控制，而不是意识实体(据我们所知)。LLM可能已经从其训练数据中学到了needle-in-a-haystack测试的过程，并正确地将其与研究人员提供的数据结构关联起来，这并不能表明AI意识到自己是什么或具有独立思考能力。

　　尽管如此，在这种情况下，Claude3Opus的答案非常正确，对一些人来说可能令人不安。随着我们与LLMs相处的时间越来越长，它们变得越来越强大，有关它们能力的惊喜也会不断涌现。Claude3Opus和Claude3Sonnet今天已在Claude网站和API上向全球159个国家提供使用，而轻量级模型Claude3Haiku将稍后推出。VentureBeat的使命是成为技术决策者获取有关变革性企业技术的知识并进行交易的数字城市广场。