科技魔方

高通推出AI Hub,方便开发者在设备上访问和下载AI模型

更多场景

2024年02月27日

  2月27日 消息:随着在个人设备上的设备 AI 变得更加普及。在世界移动通信大会上,高通推出了一款工具AI Hub,简化了开发人员如何将 AI 模型直接下载到测试设备上的过程。

  新的高通 AI Hub 包含了一个库,其中包含超过75个生成式 AI 模型,开发人员可以轻松地将这些模型下载到搭载高通芯片的设备上,同时随着时间的推移不断添加新的模型。该库包含了一些行业中最受欢迎的模型,如 Whisper、OpenAI 的自动语音识别(ASR)系统以及 Stable Diffusion,Stability AI 的文本到图像模型。高通 AI Hub 会自动对模型进行硬件优化,以实现卓越的设备 AI 性能。

  此外,这些模型经过优化,充分利用了高通 AI 引擎中的所有内核,包括 NPU、CPU 和 GPU,从而实现更好的能效、更低的内存利用率,以及高达四倍的推断速度,根据公司周一发布的消息。放弃与云端的任何摩擦,设备 AI 的优势之一是提高了整体应用性能的同时增加了隐私保护,这在创建使用具有机密或专有数据的数据库的模型时尤为重要。

  “高通 AI Hub 为开发人员提供了一个全面的 AI 模型库,快速、轻松地将预优化的 AI 模型集成到他们的应用程序中,从而实现更快、更可靠和更私密的用户体验,” 高通技术规划和边缘解决方案高级副总裁 Durga Malladi 表示。

  高通表示,优化的模型已经可以在高通 AI Hub、GitHub 和 Hugging Face 上获得。开发人员可以从今天开始申请访问。

+1

来源:站长之家

延展资讯