AB测试
1. 准备工作
- 为保证统计结果的准确性及公正性,CacheMoment AB测试产品目前与谷歌分析(Google Analytics)集成,所以在您使用本产品前,您需要拥有一个谷歌分析(Google Analytics)帐号。
- 请确认您【源站设定】内的信息正确
配置谷歌分析帐号
01. 打开设置页
选择您的网站,并打开A/B测试管理页面。
02. 进入谷歌分析设置页面
03. 授予CacheMoment只读权限
- 帐号:
account-1@cmab-1132.iam.gserviceaccount.com
- 权限:
阅读和分析
04. 获取跟踪ID
05. 获取数据视图ID
06. 保存
2. 创建A/B测试
我们假设某网站希望对搜索框进行A/B测试。
设置实验目标
实验目标也就是你喜欢网站的那个页面(URL)进行A/B测试,选项里的完全匹配指的是精确匹配还是包含的关系,比如:http://www.example.com/ 的完全匹配仅会对首页进行测试。默认不勾选的情况下,会对所有包含此URL的页面进行测试,也就是www.example.com的全站。
设置实验版本
每个新建的A/B测试默认会创建原始版本,版本1(HTML内容替换方式)两个版本。
原始版本 如字面意思,这个版本没有发生改动。现在对版本1进行改动,目标是移除搜索框。
- 首先定位搜索框的元素位置。
- 增加规则,移除该搜索框。替换内容不填的情况下就是移除该元素。
注: 每个版本内可以添加多条规则。
3. 预览
在开始实验前,只能在本页面对每个版本的改动进行预览,方法很简单,点击版本后的预览按钮。
对比下两个版本的预览结果:
搜索框已经被移除了。
4. 分配流量
流量有两种类型,分别是:
灰度流量: 这个值确定了会有多少流量参与到A/B测试中(百分比)。(据说Google长期对1%的客户进行A/B测试)
版本流量: 每个版本之间的流量比例(百分比)
举例: 假设网站平均每天防护的用户数量为1000,灰度流量 设置为30%,原始版本 和 版本1 的比例为50% vs 50%。在开启实验后,每天约分别有1000 x 30% x 50% = 150 的用户会看到这里两个版本。
5. 开始实验
回到基本信息设置实验的周期,切换实验状态。
6. 查看结果
可以直接在控制台查看各运营指标,或者登录到您自己的谷歌分析帐号内查看。
这里可以看到版本1也就是移除搜索框的版本,平均会话时间更长。