能耗比达到GPT-4 10倍！黄学东亲自解密Zoom AI的成功之道，AI伴侣直接替你开会

　　本文来自于微信公众号 新智元(ID:AI_era)，作者:润 alan。

　　近日，AI大佬，现任Zoom CTO的黄学东，在自家的官网上发表了一篇博客。

　　其中隆重介绍了自己加入Zoom六个月之后创新的成果——Zoom AI Companion，以及驱动Zoom AI Companion的Zoom联邦(federated approach)AI。

　　在Zoom之前，黄学东曾担任微软Azure AI首席技术官，他不仅是微软首位全球华人技术院士，也是微软最高级别的华人科学家。

　　黄学东在微软任职了超过30年，在他的牵线搭桥下，微软于1998年在北京建起第一个亚洲研究院。

　　在2017年和2020年，黄学东分别当选ACM和IEEE会士，并于2023年同时当选美国国家工程院院士和美国艺术与科学院院士。

　　黄学东表示，人工智能从概念化到实现的转型之旅，就像一条曲折的道路，充满了不断的破坏、适应和创新。

　　「在过去的30年里，我一直走在这条道路上，从语音识别、自然语言理解，到计算机视觉。在我加入 Zoom 的过去六个月里，创新的步伐尤其令人震惊。」

　　Zoom联邦AI，用合适的AI跑合适的任务

　　Zoom希望使用AI来改善人类协作方式，不断提高生产力。

　　多年来，Zoom一直在为客户提供语音识别、计算机视觉、机器翻译和大型语言模型(LLM)等AI服务，以增强自家软件的竞争力。

　　他们的最新产品Zoom AI Companion，旨在帮助用户提高工作效率、促进无缝协作并获得更深入的交流和见解。

　　Zoom的联邦AI，能够使用户在之前付费服务的基础上，不用额外花钱就能享受AI Companion的功能。

　　这样能够大大提升用户的体验，还能快速提高新技术的在用户中的渗透率。

　　但是对于Zoom这样拥有大量用户，高强度使用AI功能的软件，LLM推理的额外成本怎么负担呢?

　　要知道，GitHub的Copilot被传说，每月收费10刀，依然每个用户每月还要补贴20刀。

　　Zoom目前使用的LLM包括自有模型和第三方的模型(如OpenAI GPT-3.5和GPT-4，以及Anthropic Claude2)。

　　Zoom联邦AI，可以整合来自合作伙伴的最新的LLM技术(例如OpenAI最新发布的GPT-4Turbo)，进一步改善Zoom客户的端到端体验。

　　Zoom采用了具有更好成本效益的策略:

　　首先使用合适的低成本LLM来完成任务，然后通过Z-Scorer评估初始任务完成质量。

　　在有需要的情况下，Zoom会使用更高级的LLM， 对初始LLM所获得的成果进行改进。

　　——这类似于一个有凝聚力的团队协同工作，能够比一个人更高效地生产更高质量的产品。

　　根据Zoom的内部测试，与OpenAI GPT-3.5Turbo或其他几种最先进的LLM相比，Zoom采用联邦AI提高了AI Companion的输出质量，还有效地控制了成本。

　　黄学东表示，他们衡量性能的标准是更低的成本、更快的响应时间和更高质量的输出。

　　上图是Zoom AI Companion与GPT-4在英文会议查询任务上的性能和成本对比。

　　图中比较的两个关键指标为成本和输出质量。

　　Zoom AI Companion只用了不到GPT-46%的成本，就能达到几乎相当的输出质量。

　　与微软Copilot使用的GPT-4-32k模型相比，Zoom AI Companion的会议提问功能，可降低成本，加快响应速度，同时保持相当的输出质量。

　　上图是Zoom AI Companion与GPT-4在多语言会议摘要任务上的对比。

　　此外，AI Companion的多语言性能，进一步证明了Zoom联邦AI的强大功能，支持除英语之外的32种语言。

　　由于大多数LLM主要是使用英语数据进行预训练，所以Zoom增加了翻译模型来扩展多语言能力。

　　上图对比了Zoom AI Companion与Microsoft Copilot在多语言会议摘要任务中的表现，同样使用GPT-4作为Microsoft Copilot的代理来进行对比。

　　在Zoom AI Companion的多语言会议摘要中，使用Zoom的翻译模型将非英语文本翻译成英语，这样能同时考虑翻译数据与原始数据。

　　从图中可以看出，Zoom AI Companion以不到6%的成本完成了质量接近于GPT-4-32k的输出(97%)。

　　Zoom相信，人工智能的好处应该让尽可能多的人广泛使用，而Zoom的联邦AI能够无缝结合不同AI系统的优势，提供高性能结果，在实现这一愿景方面发挥着重要作用。

　　Zoom AI Companion，最智能的会议助手

　　而Zoom现在几乎所有AI功能的入口，都集中在了他们9月底推出的Zoom AI Companion上。

　　作为Zoom提供的「充值服务」，它利用Zoom提供的AI能力，能帮助你在中途加入会议之后，自动总结错过的会议内容。

　　然后轮到你发言时，结合你的观点和之前会议的内容，生成发言稿，真的做到了「替代用户开会」。

　　在半程加入会议之后，AI可以告诉你会议的重点。

　　还能帮你实时转录翻译其他参会者发言，一键获取会议讨论文本。

　　AI还能帮你把碎片化的信息归纳出来，最后为团队生成会议总结和记录。

　　还能把Zoom平台上获得的客户短信息进行总结，生成具体的执行方案。

　　而且对于参加不了的会议，还可以在日程表上直接安排AI智能录制，之后分段分重点回看。

　　而这整个AI伴侣背后，都凝结了Zoom和黄学东联邦AI的技术思路，用合适的AI资源去处理合适的请求。

　　而且Zoom承诺，不会使用用户的任何音频、视频、聊天、屏幕共享、附件或客户生成的内容(例如投票结果、白板)等其他数据来训练Zoom或第三方的AI。

　　这么多好用的功能，这么负责的AI，需要花多少钱呢?

　　150刀到200刀就能用一年，企业用户还有专门的定制版本。