落地大模型的京东云，把谁逼到了悬崖边？

　　每一个线上大型活动的背后都离不开云厂商的支撑。

　　京东官方数据显示，作为中央广播电视总台《2024年春节联欢晚会》独家互动合作平台，总台春晚期间，用户在京东的互动量超552亿次。

　　552亿次的互动背后，是对云计算资源的持续调动，也是对云厂商的一次考验。

　　在类似春晚的全国性节目中，极端的大流量往往是云计算厂商们难以承受的。过往，云计算厂商大都会选择提前准备更多的服务器资源，但今年，京东云却走出了不一样的路径。

　　2023年，国内大模型领域风起云涌，大模型的出现，给云计算的发展带来了全新的机遇。以大模型算力为云的基本盘，通用大模型和行业大模型已经成为云厂商们研究的重中之重。

　　可以说AI大模型的诞生激励着云计算厂商们开启第二波增长曲线，并推动它们塑造出了云计算应用服务新范式，但在加快技术研究的同时，如何将大模型融入现有的云计算产品，并实现应用已经成为当下云厂商们面临的共同课题。

　　而在这次春晚中，京东云所实践的正是大模型赋能云计算的一次规模化落地。

　　1、时代变了，向技术要底气

　　在这次春晚中，京东云的任务除了要承接春晚流量的暴增，还要在节目的进行中设计各种玩法为海内外受众送上1亿份实物好礼和30亿的红包，但准备时间却只有16天。

　　自2015年起，线上的大型节目便成了大厂争夺的流量战场，面对春晚这种数十亿量级的流量冲击，云厂商们能做的就是尽量拉长准备时间。一方面服务器集群基础上扩容，另一方面拉上数百人规模的运维团队整装待发。

　　所以，在过往的大型线上活动中，云计算厂商们打的是资源之战。

　　但这个解决方式背后存在着大量的浪费，而不止局限于当下的大型节目中，行业中云浪费已经成为常态化的现象。

　　中国信通院发布的《云计算白皮书》显示，企业常常在云上购买不需要的服务，导致底层云资源对上层业务盲目支撑，费用预算通常超出预期，用云成本难以控制。近年来，伴随云计算在中国企业中的加速普及，由“迫切上云”到“更好用云”成为新趋势。

　　京东云敏锐地观察到了这一趋势，并试图通过向技术要效率来实现“上云”价值的颠覆。

　　据京东云相关负责人称：“同样的场景、更多的流量，我们计算资源的总量是一定的，这就需要极致地精打细算，每个应用都必须在有限的资源下发挥极致效率”。

　　因此，在面对春晚这样的大型活动中，京东云创新性地选择用智能技术来提升资源的利用率。

　　具体来看，京东云首先上线了“春晚保障AI指挥官”，通过大模型等新一代人工智能技术，把春晚保障工作及相应系统进行了统筹。

　　在算力层面，基于AI大模型的加持，京东云以更为弹性的方式在不同的场景中释放了更强的算力，从而给春晚智能化保障提供更坚实的支撑底座。

　　据京东云方面测算，通过接入AI能力，提升了30%资源利用率，从而大幅降低了保障成本。

　　而这也意味着，原本需要依托于增加服务器而承接爆发流量的云，可以在智能分配的逻辑下实现资源的最大化利用。

　　也就是说，京东云通过给自研的混合多云操作系统云舰接入大模型能力，从而实现了从传统堆资源的向精细化调度的升级，通过AI精准预测流量，京东云实现了计算资源和高并发流量的精准匹配。

　　值得一提的是，此次春晚互动保障中，凭借最新的智能算法，云舰可基于应用历史数据提取其资源使用特征，形成应用画像，对未来一段时间的任务调度进行实时动态预测，极大减少在线业务与离线业务间的资源竞争，从而有效提升CPU利用率，让先进计算最大化发挥功效。

　　2、当大模型赋能“预测”

　　弹性资源的极致调度是京东云技术的分配所实现的，但在这之前，如何精准预测流量至关重要。

　　众所周知，大模型是指具有大规模参数和复杂计算结构的机器学习模型。这些模型通常由深度神经网络构建而成，拥有数十亿甚至数千亿个参数。

　　大模型具有更大的存储容量和更强的计算能力，能够吸收并处理更大规模的数据集。

　　也就是说，通过对这些数据的学习和归纳，大模型可以逐渐优化自己的预测能力，也能进一步提升准确度。

　　在“预测”这个被前置的环节中，随着人工智能大潮，生成式AI分析逐步崭露头角，其“大模型+大量数据”的组合为用户提供了前所未有的洞察力和预测能力，从而能够实现复杂的任务和数据的高效处理。

　　相比传统的流量预测逻辑，大模型基于数据模型的庞大能够实现更为精准预测。而在其中，大模型自然成为流量预测的关键技术之一。

　　以京东云在春晚中的表现为例，通过分析历史数据和虎年春晚保障经验，绘制更精准更敏捷的流量地图，基于数千个数据维度，对春晚流量进行评估和预测，京东云实现了超95%的预测准确率。在实际落地的过程中，能够保证核心流量接入以及转化均在预期之内。

　　具体到目标的实现，在制定春晚1亿好物策略时，运营人员根据精准预测流量大小、预判到了用户访问轮次分布。同时基于交互式策略画布，在5分钟内，就实现了用户策略的生成并上线。

　　在大型活动中，往往涉及全链路的调度，因此在全链路中实现前置预测至关重要。

　　在此次春晚中，京东云做到了这一点，除了对互动行为进行全链路预测，还实现了实时调整流量分配，进行资源扩缩容。

　　京东云方面透露，当第一轮实际流量与预测不符时，自动调整后续几轮的红包策略，确保流量平稳分配，核心流量接入以及转化在预期内，更高效地服务零售、物流环节整体供应链履约。

　　值得一提的是，在这次春晚中，京东云同样依托于大模型进行了创新的探索。比如，京东研发了Force Bot全链路军演机器人和故障分析大模型，Force Bot是制造问题的高手，故障分析大模型则是解决问题的高手。

　　在春晚实际应用之前，Force Bot通过模拟海量用户抢红包、购物等行为，制造了大量的真实流量，对压测系统形成高并发压力，提高了压测结果的真实性和准确性。Force Bot还在逐步引入AI技术，以此实现了对各个系统的流量值的预测，并给出了资源分配的建议。

　　3、打造一朵“智算云”

　　AI原生时代，各行各业对于计算服务的需求正在从传统的云计算向“智算云”转移。面向大模型进行云计算基础设施体系的重构是当下云厂商不得不推进的工作。

　　京东云在春晚的历练场上走出了云厂商们的第一步，它以实际落地的战绩向外界展示了“智算云”的前景和能力。

　　打造“智算云”与时代发展方向契合，据Silicon ANGLE统计。过去10个月云计算的预算变化与AI支出增长呈高度正相关性，整体云计算预算随AI支出快速增长。

　　AI大模型对提高云服务商的竞争力至关重要

　　因此，，但与此同时，在大模型应用驱动下，国内云计算进入新一轮技术升级及应用扩展的关键时期。

　　云计算服务商必须加快变革，除了在底层架构、运维体系以及云原生转型等方面加速创新，还要在应用和产品层面不断创新，以此为企业提供更加敏捷、高效的数字化解决方案。

　　目前，国内外云厂商早已开始布局AI大模型发展，基于AI大模型的云服务应用也已成为云服务商的必争之地。

　　2023年7月中旬，京东云在2023京东全球科技探索者大会暨京东云峰会上推出了以云计算为技术底座的大模型数字基础设施矩阵，包括言犀AI开发计算平台、混合多云操作系统云舰3.0等。

　　作为第一批快速进入“智算云”转型之路的云服务商，京东云打造的数智算力矩阵，从硬件基础设施到智算集群，再到MaaS服务，提供了一站式的大模型服务能力。

　　不只是京东云，从模型发展上看，国内大模型争相发布，截至当下，国内大模型数量已逾200个。

　　而随着各家云服务厂商大模型的成熟，大模型云服务在今年开始进入产业落地的关键时期，正广泛应用于数字人、金融、教育等多个领域，加速孵化创新应用场景和服务产品，全方面改造各业务场景。

　　可以说大模型为云计算带来全新的活力生机，云计算正在演变成为新时代的平台，向下整合硬件，向上对接大模型。

　　在其中，云厂商更应该做好云平台，构建云生态，并真实落地于产业之间。就像京东云这样，在每一场实际的应用中让大模型云服务的能力发挥到极致。