谷歌 Transformer 论文合著者在东京创办人工智能公司 Sakana AI

　　如今，生成式人工智能的格局正处于快速发展的状态，不仅与 OpenAI、Meta 和 Google 在基础模型上直接竞争，而且在他们一些最优秀的内部人才离开去推出产品的同时他们自己的一代人工智能初创公司。

　　David Ha 和 Llion Jones 是两位著名的前谷歌研究人员(其中 Llion Jones 是「Transformer」人工智能架构的共同发明者，David Ha 曾担任 Stability AI 的研究主管)上周四宣布，他们已经启动了一个研究总部位于东京的新人工智能公司——Sakana AI。

　　Jones 是谷歌 2017 年研究论文《Attention Is All You Need》的第五作者。该研究论文介绍了基于「Transformer」的深度学习架构，成为病毒式聊天机器人 ChatGPT 和当前竞相开发生成式人工智能产品的基础。

　　在这篇著名论文发表之后，生成式人工智能基础模型的发展集中在制造越来越大的「Transformer」——基于模型，而 Sakana AI 将专注于为基础模型创建新的架构。

　　「我们的方法可能不是构建一个吸取所有数据的巨大模型，而是使用大量更小的模型，每个模型都有自己独特的优势和较小的数据集，让这些模型相互通信并共同解决问题，」David Ha 说，尽管他表示这只是一个想法。

　　David Ha 在接受彭博社采访时表示：「蚂蚁四处走动，动态地自行形成一座桥梁，这可能不是最坚固的桥梁，但它们可以立即做到这一点并适应环境。」「我认为这种适应是我们在自然算法中看到的非常强大的概念之一。」

　　两位创始人告诉 FT，Sakana 这个名字源自日语中的「鱼」一词(さかな)，意思是「一群鱼聚集在一起，通过简单的规则形成一个连贯的实体」。

　　《Attention Is All You Need》论文的所有作者现已离开谷歌。作者的新创企业已经吸引了来自风投机构的数百万美元的投资，其中包括运行 AI 聊天机器人初创企业Character.AI 的 Noam Shazeer 和创立大型语言模型初创企业 Cohere 的 Aidan Gomez。