Meta分享：为Quest开发者提供A/B测试，显著提升App购买转化率

　　通过详细信息页面PDP的两个版本并比较两者之间的转化，A/B测试是提高应用总转化率的有效方法。Meta在6月为Developer Dashboard新增了一个A/B测试工具，从而允许开发者就各种PDP asset进行A/B测试。

　　日前，团队整理了 《FitXR》、《Synth Riders》、《Vacation Simulator》和《Spacefolk City》这四款作品的测试情况：

　　《FitXR》(F2P)：Cover Art宣传图片测试，转化率增加11.8%

　　《Synth Riders》(24.99美元)：宣传视频测试，转化率增加26.5%

　　《Vacation Simulator》(29.99美元)：Cover Art宣传图片测试，转化率减少5.5%

　　《Spacefolk City》(24.99美元)：宣传视频测试，转化率减少29.7%

　　结果表示，A/B测试可以帮助游戏开发者进行评估判断，验证假设，并选择效果最好的版本，从而实现营收提升。例如，《FitXR》比较原宣传图片和测试宣传图片后发现，测试版可以将转化率增加11.8%，所以应该选择新的测试宣传图;《Vacation Simulator》同样比较了宣传图片和测试宣传图片，而他们发现测试版可以将转化率减少-5.5%，所以应该继续沿用最初的宣传图片。

　　同样，《Synth Riders》发现测试版宣传视频比原宣传视频的转化率增加了26.5%，所以应该采用测试版宣传视频;《Spacefolk City》则发现测试视频比原宣传视频的转化率减少29.7%，所以应该继续沿用最初的宣传视频。

　　A/B测试工具目前允许你测试受众在QuestStore中看到的三个PDP变量：

　　Cover Art宣传图片

　　Square：跨平台显示的1:1静态图像，用于宣传你的应用程序。

　　Landscape:：跨平台显示的16:9静态图像，用于宣传你的应用程序。

　　描述

　　短描述：在整个平台显示的500字限制描述，主要是在VR中显示。

　　长描述：在整个平台显示的1000字限制描述，包括Meta Quest Store。

　　宣传视频

　　显示在应用PDP最上方的视频。

　　包括缩略图。

　　1. A/B测试：双赢方案

　　Meta的研究表明，用户并不完全熟悉Quest Store的众多应用和游戏。所以要吸引受众并快速建立熟悉度，你的Store asset非常重。选择“完美”asset可能像是一个高风险的过程。但通过A/B测试，你都可以清楚地了解asset如何影响PDP流量和转化。

　　《Synth Riders》的宣传视频测试令转化率增加了26.5%。测试版本包括一首新的爵士乐歌曲，并通过第三人称视角来突出游戏玩法。原始宣传视频则以古典乐器，并高度强调第一人称视角。

　　Kluge Interactive是于2019年发行了《Synth Riders》。A/B表明，新asset可以吸引观众的注意力，从而为旧应用注入新的活力。这种吸引力的提高可能会提高转化率，并带来营收方面的大幅增加。显然，A/B测试是你增加受众的一种相对快速和简单的方法。随着虚拟现实生态系统的扩展，A/B测试同样有助于提高应用的曝光度。

　　无论结果如何，A/B测试都能提供价值。对于Beyond Frames Entertainment，《Spacefolk City》的A/B测试表明，用户对他们正在测试的新宣传视频反应不佳。测试版本的宣传视频缩短了约30秒，并且提供了新的和更频繁的信息，深入介绍预期的玩家旅程。

　　与最初的宣传视频相比，测试版本导致转换率下降29.7%。这一结果有助于防止在未进行A/B测试就发布新宣传视频而造成的损失。这次测试同时表明，比起宣传视频中的信息，用户更喜欢看到游戏画面。

　　A/B测试可以帮助你获得大量有用的见解，更重要的是，一个不太有效的测试asset可以验证你现有的策略，并为新的假设和迭代打开大门。尽管测试视频导致了转化率下降，这可能表明你当前的宣传视频已经十分有效。又或者，你可以继续尝试新的测试视频。

　　2. 值得信赖的结果为你的策略提供参考

　　结果只有在准确的情况下才有价值。只有当你的asset积累了足够的流量，并且两个asset之间的转化率保持在小于5%的错误率或95%的置信区间时才能实现统计显著性。为了帮助确保你的结果可以归因于asset而不是外部因素，目前在任何给定时间只能测试一种类型的PDP变量。

　　A/B测试最多运行30天，但它们在短短7天内就可以生成具有统计意义的转化结果。测试的结果选项卡同时显示各种指标，而审查它们有助于指出哪些asset可能是最有价值的测试。

　　例如，Cover Art宣传图片通常是人们在Quest Store看到的第一项asset。如果Reach触达性较低，你可以测试新的Cover Art宣传图片，看看是否能够提高PDP的曝光度和访问率。如果Reach触达性很高，但转化率很低，对宣传视频或描述进行A/B测试可以帮助确定哪些资产影响人们购买和/或下载你的应用。

　　3. 假设、测试、反思：修改和重复

　　为了减少测试达到统计显著性所需的时间，我们建议创建与原始测试明显不同的测试asset。话虽如此，你不需要放弃你的创作方向，即使细微的差异都会导致转化率的巨大变化。

　　《FitXR》就是一个很好的例子，开发人员从Cover Art宣传图片中删除了“免费试用7天”，使转化率提高了11.9%。了解asset对人们行为的影响是一个永无止境的过程，有时选择从小事做起可以与彻底检查整个asset一样有效。调整asset中的一个或两个变量可以帮助明确哪些因素导致转化率的变化。

　　另一方面，A/B测试的一个优点是，它可以允许你尝试更大胆的创造性调整，同时最小化风险。在《Vacation Simulator》的Cover Art宣传图片测试中，Owlchemy Labs保留了应用的签名徽标，但大幅改变了整个配色方案、背景环境和图像中的对象。他们同时对消息传递进行了实验，选择在测试asset中突出显示DLC，而不是产品更新。

　　所述变化导致转化率下降了5.5%，但A/B测试允许Owlchemy Labs尝试新的方案并从中学习。

　　根据你的目标，你可以选择向Quest Store中10%、25%或50%的受众展示测试asset，从而收集关键见解，同时减少负面结果。

　　为了从测试中获得最大价值，请使用测试结果更新假设并尽可能具体。从Owlchemy Labs的结果可以推断出很多情况。他们认为观众更喜欢原版的美学，或者观众因为突出显示的手部追踪更新而对购买应用感到自信，或者测试asset中的“Back to Job是时候上班啦”一词阻止了人们购买应用程序。所述问题都可以通过进一步测试以进行调查。

　　正如《Guided Meditation VR》的开发者所言：“这个工具设计简单，易于使用，同时又可产生强大的效果。它将极大地帮助我们的应用程序最大化吸引力。”

　　4. 开始A/B测试

　　所有在Quest Store发行应用的开发者现在都可以访问Developer Dashboard中的A/B测试工具。选择你的应用并导航到左侧的“A/B测试”选项卡。在这里，你可以查看测试结果，并管理即将进行的、正在进行中的和已完成的测试。

　　A/B测试需要在应用发行前提交并审查。在审查期间，Meta可能会要求你对提交内容进行更改。请注意，每个应用一次只能运行一个A/B测试，并且在测试进行期间你不能发布其他应用元数据更改。为了帮助你管理A/B测试，自动电子邮件将通知你请求的更改、测试批准、统计重要结果和测试完成情况等信息。