Nucleus AI发布22亿参数大模型，致力农业领域的AI转型

　　加利福尼亚的初创公司Nucleus AI，汇聚了来自亚马逊和三星研究的人才，近日以一款强大的22亿参数大规模语言模型(LLM)正式亮相。这个模型可在开源MIT许可和商业许可下使用，它具有通用性，位于13B和34B模型之间，可以进行不同生成任务和产品的微调。Nucleus表示，这一模型在性能上胜过了相似规模的其他模型，最终将有助于实现公司将AI用于改变农业的目标。

　　Nucleus AI的首席执行官Gnandeep Moturi表示:“我们首先推出了我们的220亿模型，这是一个变换器模型。然后，大约在两周内，我们将发布我们的最新RetNet模型，这将在成本和推断速度方面带来显著的好处。”

　　Nucleus开始在大约三个半月前对22B模型进行训练，之后收到了一位早期投资者提供的计算资源。公司利用现有研究和开源社区的资源，对这个LLM模型进行了预训练，上下文长度为2048个标记，最终对它进行了万亿级的数据训练，包括从网络、维基百科、Stack Exchange、arXiv和代码中获取的大规模去重和清理信息。这为模型提供了丰富的知识库，涵盖了从一般信息到学术研究和编程见解的内容。

　　接下来，Nucleus计划发布更多版本的22B模型，它们分别在3500亿和7000亿标记的数据上进行了训练，还有两个RetNet模型，参数分别为30亿和110亿，它们在更大的上下文长度(4096个标记)上进行了预训练。这些较小规模的模型将融合了循环神经网络(RNN)和变换器神经网络架构的优点，将在速度和成本方面实现巨大的提升。在内部实验中，这些模型被发现要快15倍，仅需相似变换器模型通常要求的四分之一GPU内存。

　　然而，与其他LLM公司OpenAI、Anthropic和Cohere不同，Nucleus AI并没有将其模型仅限于企业应用。公司的远景是利用AI构建一个智能农业操作系统，旨在优化供需关系并减少农民面临的不确定性。Moturi解释道:“我们有一个类似市场的想法，需求和供应将被高度优化，就像Uber为出租车司机所做的那样。”这一举措将有助于解决农民面临的多个挑战，从气候变化和知识不足到供应的优化和分销的维护。

　　总的来说，Nucleus AI计划在农业领域推出创新性的解决方案，而不仅仅是构建对话机器人。尽管有挑战，但他们有信心通过在开源社区的贡献，将语言模型作为市场的核心，实现他们的愿景。有关面向农业的智能操作系统和RetNet模型的更多细节将在本月晚些时候公布。VentureBeat的使命是成为技术决策者获取有关变革性企业技术的知识和进行交易的数字城镇广场。