Meta分享：在不同阶段利用A/B测试来增加Quest App营收

　　过详细信息页面PDP的两个版本并比较两者之间的转化，A/B测试是提高应用总转化率的有效方法。Meta在2022年6月为Developer Dashboard新增了一个A/B测试工具，从而允许开发者就各种PDP asset进行A/B测试。经过一段时间的实践和应用， 《SUPERHOT VR》、《Rec Room》、《Pistol Whip》、《Crisis Brigade 2》和《Shores of Loci》等内容均获得了不同程度的增益。

　　为了帮助开发者借鉴和利用A/B测试，Meta日前发布了名为《How Developers are Driving Sales with A/B Testing》的案例研究，分享了《SUPERHOT VR》、《Rec Room》、《Pistol Whip》、《Crisis Brigade 2》和《Shores of Loci》的开发者是如何在应用生命周期的不同阶段利用自助式A/B测试设置来增加营收。下面是映维网的具体整理：

　　A/B测试工具

　　开发者团队需要简单有效的工具来帮助他们理解MetaQuestStore创意asset是如何影响营收。Meta的A/B测试工具提供了点击和转化率等指标，从而帮助你进行asset优化并提高用户获取率。

　　A/B测试工具使你能够在Meta Quest Store的应用产品详细页面(PDP)测试各种asset，包括

　　封面

　　视频预告片

　　描述

　　截图

　　沉浸式图像图层

　　你的团队可以自由地形成自己的假设，而相关工具允许你单独比较两个asset，或者将多个asset的性能作为一个集合进行比较。然后，你可以得到快速的反馈，并迭代你的策略来改善结果。

　　头一两天的A/B测试结果将开始提供asset表现的一般性线索，但如果你希望用所述结果去证实或反驳假设，你需要等待测试获得具有统计学意义的结果。换句话说，你的asset在Meta Quest Store中获得的流量越多，结果便越值得信赖。

　　Developer Dashboard中的通知电子邮件和指示器可以告知你测试结果何时达到统计显著性，并且为了节省更多时间，你可以利用全新的自动发布功能：一旦测试达到统计显著性，系统将自动把优胜的测试asset发布到应用程序的PDP。

　　由于可以帮助你更清晰理解应用PDP的不同视觉或描述是如何影响印象、点击和转化，所以越来越多的开发者开始利用A/B测试来反复收集见解。但如何开始是一个问题。

　　所以，Meta邀请了《SUPERHOT VR》、《Rec Room》、《Pistol Whip》、《Crisis Brigade 2》和《Shores of Loci》等成功利用A/B测试工具的团队来分享他们的经验，从而为你提供可以借鉴的案例研究。

　　《Shores of Loci》

　　《Shores of Loci》 是一款有关爱和放松的拼图游戏，如梦一般宏大精致的世界只有VR能够体验到。超现实的场景和拼图形式将带你在不同维度感受电影般的震撼和拼图体验。在故事中，巨人和村民都需要你的帮助来夺回他们的土地和重建他们的城市。所以，你需要完成一段创世主之旅，并帮助渴求的人们恢复城市的生机。

　　如上图所示，《Shores of Loci》主要测试了封面，时间为30天。原来的封面相对荒凉，色调相对压抑，而且巨大的机器人有点惊悚感，而新封面则明亮轻快，并选择了温馨和谐的岛屿小镇，从而更好地反映了游戏的轻松氛围，并最终带来了令人印象深刻的转化率增长：+31.05%。

　　有了一个合适的假设之后，你通过运行A/B测试获得的见解可以相互结合，并帮助你更深入地了解目标用户。每个测试结果要么是验证，要么是反驳你关于应用用户是谁，以及吸引他们的因素的想法。

　　团队表示：“为你的游戏选择合适的asset并理解大多数人喜欢什么并不总是可以预测。A/B测试帮助我们了解用户的偏好，以及是什么促使他们考虑购买游戏。在游戏发行后不到一个月，我们就用更新的、更明亮的图像测试了我们的原始封面。”

　　他们总结道：“我们肯定会继续使用A/B功能来获取有用的数据。另外，我们给其他小型工作室的一个建议是，不要等待太久才开始发行前的营销工作。尽早围绕你的游戏建立一个社区，瞄准可能对你的游戏类型感兴趣的人。”

　　《Crisis Brigade 2 reloaded》

　　在这款快节奏的射击游戏中，你将会体验到激烈的枪战、强大的武器、挑战性的关卡和凶猛的敌人，因为街道到处都是恐怖分子，而你是精心挑选以执行高风险任务和拯救城市的精英之一。你可以以任何可能的方式击倒敌人。掩护、瞄准和射击。

　　《Crisis Brigade 2 reloaded》主要测试了封面和视频预告片，时间分别为8天和7天。

　　与原来的封面不同，新的封面将两位手持枪械的角色至于一个烈火街道之中，从而进一步营造出在街道战斗的刺激氛围。同时，封面进一步前置突出游戏角色，拉近了与玩家的心理距离。这表明，在团队环境中展示多个角色对目标用户非常具有吸引力，新asset带来了+21.34%的转化率提升。

　　团队表示：“我们发现A/B测试工具对于获取最适合游戏目标用户的反馈非常有用。当Scout House提供给我们新的美术作品时，我们看到了详细的特写镜头，这是一个测试我们内部asset的好机会。”

　　不仅只是这样，对于sumalab的团队而言，《Crisis Brigade 2 reloaded》在Quest的发行面临着独特的营销挑战，因为这款游戏之前曾在其他平台上发行过。通过为视频预告片创建A/B测试，进一步强调Quest带来的无线约束战斗快感，sumalab能够推动额外的转换率，并为用户提供了独特的体验。

　　他们解释道：“对于新发行，A/B测试是必须的，我们肯定会将其作为工作流程的基本元素，以帮助我们决定使用哪些asset。我们强烈建议其他开发者利用A/B测试来优化游戏发行。”

　　《Rec Room》

　　元宇宙社交平台Rec Room提供了丰富多样的活动。例如，你可以参与彩弹枪战，躲避球和飞盘高尔夫等各种游戏项目，又或者是在休息大厅里结识新朋友等等。除了游戏以外，它已经成为数字聚会、创意课程、公司头脑风暴、办公室扩建、婚礼等活动的理想场所。

　　团队在A/B测试中主要是针对视频预告片，持续时间为8天。新的预告片采用了更简约的介绍和更多的镜头变化，展示了更多的内容。这受到了用户的欢迎，并将转化率增加了5.97%。

　　团队表示：“对于我们的视频预告片A/B测试，我们想要突出你可以在《Rec Room》中做的各种事情。我们保持了核心信息不变，但加快了节奏，增加了玩家看到能够激发他们独特兴趣的内容的机会，从而促使他们下载游戏。”

　　随着应用生命周期的发展，开发者利用更新、内容或事件在内容库中脱颖而出就显得尤为重要。团队发现，A/B测试是一种简单的解决方案，可以提高用户的关注度，并向其他人传达一个充满活力的应用社区。

　　他们解释道：“我们一直希望我们的产品描述页面是一个有趣的，能够反映《Rec Room》当前状态的页面。刷新我们的PDPasset允许我们能够突出游戏中出现的所有令人兴奋的新内容，这有助于提高转化率和粘性。特别是，A/B测试工具让我们有信心对发行的asset进行更大规模的创造性调整。”

　　《SUPERHOT VR》

　　《SUPERHOT VR》的子弹时间玩法能给玩家带来别具一格的射击体验，完美地将考验反应力的FPS游戏与考验思维的策略游戏逻辑相结合。在《SUPERHOT VR》中，当玩家们开始移动自己的身体，或者进行攻击、射击等操作的时候，敌人也会以正常的速度进行移动。玩家想要赢得最后的胜利，需要迅速适应快慢相交，张弛有度的游戏节奏，及时做出决策判断。

　　这款游戏同样针对预告片进行了测试，持续天数达到30天。在新预告片中，团队纳入了实况混合现实捕获镜头，呈现了真人玩家在畅玩游戏时的真实动作，并将其与游戏背景融合，从而营造出一种玩家在真实战斗，享受战斗的画面。

　　最终结果显示，这带来了3.73%的转化率提升。团队表示：“我们发现，随着时间的推移，我们在商店页面展示游戏的小幅更新都会产生重大影响。A/B测试能够帮助我们基于数据对产品页面进行调整，并帮助我们确定哪些asset能够与玩家产生最大的共鸣。”

　　由于简单的上传流程和实时反馈，验证你的假设从未如此容易。你需要做的就是发挥创意，专注于你想要改变的asset的核心元素。

　　他们总结道：“这类工具为工作室提供了更多学习先进数据驱动解决方案的可能性，帮助他们更好地推广游戏。令人震惊的是，一行文字或一张图片就能让玩家对游戏产生兴趣。”

　　最佳实践

　　既然你已经看到了A/B测试是如何帮助不同类型的应用和发行窗口在转化率方面所取得切实的进步，现在是时候形成你的假设并开始迭代asset了。

　　在运行第一次A/B测试之前，请牢记下面的最佳实践：

　　测试多种asset：为了在应用的PDP中创造一致性，尝试同时区分和测试多种asset类型。在设置过程中，你可以选择比较同一类别中单个asset的性能(封面美术A vs 封面美术B)，或多个asset作为一个整体的表现(asset组A vs asset组B)。

　　从封面和视频预告片开始：第一印象非常重要，应用的封面或视频预告片通常是人们在Meta Quest Store中与它的第一次互动。建议你首先测试这些asset以快速积累印象，并获得统计上显著的结果。

　　不要过早结束你的测试：当你的A/B测试结果开始出现时，你很容易就会马上采取行动。但不要过分着急，即便早期的指标告诉你测试的表现很好或很差，都请你耐心等到测试达到统计显著性。你可以运行长达30天的A/B测试，以获得统计上显著的结果。

　　完善你的假设：A/B测试可以让你以相对较少的努力获得非常具体的变化的营销见解，例如在应用的封面中加入“免费试用”文本。相反，你可以选择在更大的范围内进行实验。在设计和内容方面的鲜明对比可以让你更好地理解用户的普遍情绪。无论你是在测试微小的描述变化还是完全从头开始，你都要明确你的假设以及你希望从A/B测试中获得的见解。

　　5贯穿于应用生命周期的A/B测试：建议较大规模的工作室每月运行一次A/B测试，而较小规模的团队应该每季度运行一次A/B测试。

　　吸引用户对更新和销售的关注：每当你在Meta Quest Store中发布重大更新、发布新内容或进行促销活动时，通过运行A/B测试来对转化率和用户粘性产生积极影响。

　　对新的沉浸式图像图层运行A/B测试：Meta建议对新的沉浸式图像图层进行A/B测试，苍耳提高用户对新内容的认识。