研究表明：大语言模型从人类反馈中学得更快更智能

　　近期研究表明，大型语言模型(LLMs)在通过在线上下文学习方面表现出许多强大的能力，其中包括从语言命令中编写机器人代码的技能。这使得非专家用户能够直接指导机器人行为，根据反馈进行修改，甚至组合行为以执行新任务。然而，这些能力主要限于短期交互，因为用户的反馈只在LLM上下文大小范围内保持相关，且在较长时间的交互中可能被遗忘。

　　为了解决这一问题，研究团队着手对机器人代码编写LLMs进行微调，以记住其上下文交互并提高其可教学性，即它们对人类输入的适应效率(以用户认为任务成功之前的平均更正次数为度量)。

　　研究观察到，当将人机交互形式化为部分可观察的马尔科夫决策过程时(其中人类语言输入是观察值，而机器人代码输出是动作)，训练LLM以完成先前的交互可以被视为训练一个过渡动态模型。这个模型可以与经典的机器人技术结合使用，如模型预测控制(MPC)，以发现通往成功的更短路径。这就是Language Model Predictive Control(LMPC)框架的产生，通过对PaLM2进行微调，它在5个机器人实体上的78个任务中提高了未见任务的非专家教学成功率，同时将人类更正的平均次数从2.4降低到1.9。

　　LMPC的成功在于其对用户教学新任务的成功率提高了26.9%，同时在未见机器人实体和API上的实验中，通过提高上下文学习新任务的成功率，提高了31.5%。通过LMPC-Rollouts和LMPC-Skip这两个变体，研究团队加速了机器人通过上下文学习进行快速适应的能力。实验证明LMPC-Rollouts在多轮对话中更具通用性，对于首次响应不正确的反馈更易于纠正。为了最大程度地提高实际性能，研究建议使用LMPC-Skip来响应初始用户指令，然后使用LMPC-Rollouts来响应后续用户反馈。

　　研究团队在78个机器人任务中进行了实验，覆盖了5个机器人实体的模拟环境和2个真实硬件实体。实验中探讨了微调策略对在线上下文学习的影响，包括提高教学效果、LMPC-Rollouts和LMPC-Skip的比较、Top-User Conditioning的好处、微调是否实现跨机器人实体的泛化以及迭代微调是否进一步提高可教学性。

　　在真实世界中，研究团队对移动操纵器和机器狗的子集任务进行了评估，要求用户直接在真实机器人上进行四次教学会话。结果显示，LMPC-Rollouts在所有任务上的成功率均高于PaLM2-S。尽管在这些任务上，PaLM2-S和LMPC-Rollouts的成功会话的平均聊天轮次大致相同，但LMPC-Rollouts取得了更高的成功率。

　　通过实际演示，研究团队展示了他们的系统如何教授多个机器人实体复杂的行为，同时还展示了在教学前后机器人行为的显著差异。这个创新的方法不仅在模拟环境中取得了显著成果，而且在真实机器人上也取得了令人瞩目的效果。

　　这项研究通过LMPC框架的应用，成功提高了机器人代码编写LLMs的可教学性，为人机交互中机器学习的快速适应性开辟了新的道路。