Martian的工具可自动切换选择最优LLM 以降低使用成本

　　AI创业公司Martian近日推出了一项引人注目的AI工具，旨在帮助公司降低使用大型语言模型(LLMs)的成本。

　　该公司由宾夕法尼亚大学的AI研究员Shriyash Upadhyay和Etan Ginsberg创立，他们认为许多大型AI公司在追求竞争力强、强大的AI模型时牺牲了基础研究。根据他们的观点，当公司筹集大量资金时，大部分资金通常用于超越竞争对手，而不是用于研究基础知识。

　　Upadhyay和Ginsberg表示:“在我们在宾夕法尼亚大学对LLMs进行研究时，我们观察到了AI行业中的这些令人担忧的趋势。挑战在于如何使AI研究变得有利可图。”

　　为了解决这一问题，他们决定创办自己的公司，即Martian。该公司的使命是通过可解释性研究来推动AI研究，而不是专注于能力研究，从而实现更强大的研究成果。

　　Martian最近以900万美元的资金从NEA、Prosus Ventures、Carya Venture Partners和General Catalyst等投资方处获得了支持。这笔资金将用于产品开发、模型内部运作研究以及扩大Martian的团队规模。

　　Martian的首个产品是一款被称为“模型路由器(model router)”的工具。该工具接收针对大型语言模型(LLM)，比如GPT-4的提示，并根据提示的内容自动将其对接到“最佳”LLM。默认情况下，模型路由器选择具有最佳稳定性、技能集(例如数学问题解决)和成本性能比的LLM。

　　Upadhyay和Ginsberg解释说:“公司目前使用LLMs的方式是为每个端点选择一个单一的LLM，然后将所有请求发送到该端点。但在创建网站等任务中，根据用户指定的上下文(语言、功能、支付意愿等)，不同的模型将更适合特定请求。通过在应用程序中使用模型团队，公司可以实现比任何单一LLM单独使用更高的性能和更低的成本。”

　　这一观点确有道理，因为仅依赖于高端LLM，如GPT-4，对于一些公司来说可能成本过高。Permutable.ai的首席执行官最近透露，使用OpenAI的高端模型处理每天约200万篇文章对该公司而言每年的成本超过100万美元。

　　然而，并非每项任务都需要昂贵模型的性能，但要在运行时智能地构建能够切换的系统却可能较为困难。这就是Martian发挥作用的地方，它能够在实际运行模型之前估算模型的性能。“Martian可以在性能相似的情况下路由到更便宜的模型，并仅在必要时切换到昂贵的模型，”他们补充道，“模型路由器会索引新的模型，将它们无缝地纳入应用程序中，无需任何摩擦或手动工作。”

　　尽管Martian的模型路由器并非新技术，至少还有一家名为Credal的初创公司提供了自动切换模型的工具。因此，Martian的成功将取决于其定价的竞争力以及其在高风险商业场景中的交付能力。Upadhyay和Ginsberg声称已经有一些“数十亿美元”的公司开始采用Martian，表明他们在这一领域取得了一些成功。

　　“构建一个真正有效的模型路由器非常困难，因为它需要对这些模型的基本工作原理有深刻的理解，”他们说，“这是我们开创的突破。”

　　Martian的创新似乎为AI行业带来了一种新的方法，使公司能够更智能地选择语言模型，以在性能和成本之间取得平衡。这对于那些寻求降低AI运营成本的公司来说，可能是一项引人瞩目的技术进步。