通过详细信息页面PDP的两个版本并比较两者之间的转化,A/B测试是提高应用总转化率的有效方法。日前,Meta为Developer Dashboard新增了一个A/B测试工具,从而允许开发者就各种PDP asset进行A/B测试。
Meta表示,这个工具在评估asset策略和了解Quest Store转化指标的增量改进价值感到兴奋。通过A/B测试,你可以快速收集具有统计意义的结果,并在asset之间确定最优方案。下面,团队探讨了如何有效地使用所述工具以及相关的最佳实践。
1. 选择你的asset并定义你的受众
A/B测试允许你在三个PDP asset变量内进行比较:预告片视频、描述(长短)和图片(方形和横向)。创建并提交测试后,你的测试asset将显示给Quest Store中10%、25%或50%的受众。尽管这个数字可以改变,但50/50的划分有助于确保获得显著统计结果。
你的asset是吸引受众的主要驱动力。在进行A/B测试时,请考虑测试与原始asset有着本质不同的asset。这有助于取得有意义的结果,并有助于你评估受众的喜好。A/B测试工具同时允许你本地化测试描述,以接触不同的受众,并更准确地衡量母语非英语的受众形况。
为了鼓励具有显著统计意义的结果并用于验证你的假设,A/B测试工具只允许你一次测试一种类型的PDP变量。
2. 深入了解参与度和转化指标
A/B测试通过测量转化率、覆盖范围、唯一单击和唯一转化来比较原始asset和测试asset。测试的目标是生成具有显著统计意义的结果,并评估asset的表现是归因于什么因素。
当PDP能够以95%的置信区间生成足够的流量时,你就能实现统计显著性。尽管A/B测试可以持续30天,但你的测试可能会更快地实现统计显著性。为确保测试准确度,第一周不进行测量。访客数量和错误率可能会有所不同,但所述指标有助于确保你的结果是重要的,并可用于验证你的假设。
如果取得了具有显著统计意义的结果,表现较好的asset则为最优方案,然后你可以选择将应用到Quest Storee,并向所有受众显示。
3. 充分利用你的成果
为了从结果中获得最大的价值,创建一个可以通过测试参数来衡量的假设非常重要。具体的数据驱动假设可以帮助你进行增量更改,并了解asset表现。在测试结束后,你可以以其作为基础,并进行更多的测试。
Meta同时建议你在测试期间避免出现诸如折扣、重大更新或新DLC之等。所述举措可能会影响测试结果。
4. 开始A/B测试
所有在Quest Store发行应用的开发者现在都可以访问Developer Dashboard中的A/B测试工具。选择你的应用并导航到左侧的“A/B测试”选项卡。在这里,你可以查看测试结果,并管理即将进行的、正在进行中的和已完成的测试。
A/B测试需要在应用发行前提交并审查。在审查期间,Meta可能会要求你对提交内容进行更改。请注意,每个应用一次只能运行一个A/B测试,并且在测试进行期间你不能发布其他应用元数据更改。为了帮助你管理A/B测试,自动电子邮件将通知你请求的更改、测试批准、统计重要结果和测试完成情况等信息。