一直爆料OpenAI「草莓」的账号，竟然是个智能体？斯坦福系创企「炒作」AgentQ

　　本文来自于微信公众号 机器之心，作者:杜伟、佳琪。

　　当炒作出了「泼天的流量」，已经没人关心产品厉不厉害了。

　　最近，OpenAI的秘密项目「Q*」一直受到了圈内人士的广泛关注。上个月，以它为前身、代号为「草莓(Strawberry)」的项目又被曝光了。据推测，该项目能够提供高级推理能力。

　　最近几天，关于这个项目，网络上又来了几波「鸽死人不偿命」的传播。尤其是一个「草莓哥」的账号，不间断地宣传，给人期望又让人失望。

　　没想到，这个 Sam Altman 出现在哪里，它就在哪里跟帖的「营销号」，皮下竟然是个智能体?

　　全新智能体 Agent Q

　　今天，一家 AI 智能体初创公司「MultiOn」的创始人直接出来认领:虽然没等来 OpenAI 发布「Q*」，但我们发了操控「草莓哥」账号的，快来和我们在线玩耍吧!

　　MultiOn 联合创始人兼 CEO Div Garg，他在斯坦福读计算机科学博士期间休学创业。

　　这波看起来让 OpenAI 给自己做嫁衣的营销操作给大家都看懵了。毕竟，最近很多人彻夜未眠等待 OpenAI 的「大新闻」。这要追溯到 Sam Altman 和「草莓哥」的互动，在 Sam Altman 晒出的草莓照片下，他回复了「草莓哥」:惊喜马上就来。

　　不过，「MultiOn」的创始人 Div Garg 已经把认领 Agent Q 就是「草莓哥」的帖子悄悄删了。

　　Agent Q 是一款突破性的 AI 智能体

　　此次，「MultiOn」宣称，他们发布的。它的训练方法结合了蒙特卡洛树搜索(MCTS)和自我批评，并且通过一种叫做直接偏好优化(DPO)的算法来学习人类的反馈。

　　与此同时，作为拥有规划和 AI 自我修复功能的下一代 AI 智能体，Agent Q 的性能是 LLama3基线零样本性能的3.4倍。同时，在真实场景任务的评估中，Agent Q 的成功率达到了95.4%。

　　Agent Q 能做什么呢?我们先来看一下官方 Demo。

　　它能够为你预定某个时间某家餐厅的座位。

　　然后为你执行网页操作，比如查询空位情况。最终成功预定。

　　此外还能预定航班(比如本周六从纽约飞往旧金山，单程、靠窗和经济舱)。

　　不过，网友似乎对 Agent Q 并不买账。大家关心更多的还是他们是否真的借「草莓哥」账号炒作的事情，甚至有些人称他们为无耻的骗子。

　　重要组件和方法概览

　　目前，Agent Q 的相关论文已经放出，由 MultiOn 和斯坦福大学的研究者联合撰写。这项研究的成果将在今年晚些时候向开发人员和使用 MultiOn 的普通用户开放。

　　论文地址:https://multion-research.s3.us-east-2.amazonaws.com/AgentQ.pdf

　　总结一波:Agent Q 能够自主地在网页上实施规划并自我纠错，从成功和失败的经验中学习，提高它在复杂任务中的表现。最终，该智能体可以更好地规划如何在互联网上冲浪，以适应现实世界的复杂情况。

　　在技术细节上， Agent Q 的主要组件包括如下:

　　使用 MCTS(Monte Carlo Tree Search，蒙特卡洛树搜索)进行引导式搜索

　　:该技术通过探索不同的操作和网页来自主生成数据，以平衡探索和利用。MCTS 使用高采样温度和多样化提示来扩展操作空间，确保多样化和最佳的轨迹集合。

　　AI 自我批评

　　:在每个步骤中，基于 AI 的自我批评都会提供有价值的反馈，从而完善智能体的决策过程。这一步骤级反馈对于长期任务至关重要，因为稀疏信号通常会导致学习困难。

　　直接偏好优化(DPO)

　　:该算法通过从 MCTS 生成的数据构建偏好对以微调模型。这种离策略训练方法允许模型从聚合数据集(包括搜索过程中探索的次优分支)中有效地学习，从而提高复杂环境中的成功率。

　　网页(Web-Page)端的 MCTS 算法

　　下面重点讲一下。研究者探索了如何通过 MCTS 赋予智能体额外的搜索能力。

　　在以往的工作中，MCTS 算法通常由四个阶段组成:选择、扩展、模拟和反向传播，每个阶段在平衡探索与利用、迭代细化策略方面都发挥着关键作用。

　　研究者将网页智能体执行公式化为网页树搜索，其中状态由智能体历史和当前网页的 DOM 树组成。与国际象棋或围棋等棋盘游戏不同，研究者使用的复杂网络智能体操作空间是开放格式且可变的。

　　研究者将基础模型用作操作建议(action-proposal)分布，并在每个节点(网页)上采样固定数量的可能操作。一旦在浏览器中选择并执行一个操作，则会遍历下个网页，并且该网页与更新的历史记录共同成为新节点。

　　研究者对反馈模型进行多次迭代查询，每次从列表中删除从上一次迭代中选择的最佳操作，直到对所有操作进行完整排序。下图4为完整的 AI 反馈过程。

　　扩展和回溯。研究者在浏览器环境中选择并执行一个操作以到达一个新节点(页面)。从选定的状态节点轨迹开始，他们使用当前策略