师从Google,吆喝科技要支起国内A/B测试市场-ifenxi

撰写 | 彭晨

成立两年的吆喝科技,是国内第一家A/B测试公司,也是一家靠一门手艺打天下的公司。

吆喝科技创始人王晔毕业于清华大学电子工程专业,后进入耶鲁大学,主修计算机网络系统设计及优化。从耶鲁毕业后,王晔进入Google广告质量控制部门,开始深入接触A/B测试。

当时,国内A/B测试市场尚不成熟,王晔在Google做了两年之后,意识到国内市场存在巨大商业机会,便回国创立吆喝科技。

魔鬼出在细节里,A/B测试是细节控

以网页优化来说,A/B测试就是对一个页面的A版本和B版本进行测试,通过公司自有的互联网用户群进行1%、2%、5%、10%等规模的用户测试,统计哪个版本的点击率更高,然后选择测试效果最好的页面推广到全用户群。

A/B测试的优势在于可以提升产品迭代效率和优化服务体验。比如APP中的购买选项可以做成大图标,也可以选择在菜单中完成。这两种设计优劣无从知晓,但是通过A/B测试,可以让一部分用户看到按钮,一部分用户看到菜单,也就是一款App的A版本和B版本。通过对比两个版本的用户行为,得到更满足用户体验的产品。

如果某些改动可实现每月约2%的营收提升,年化提升就是20%。

商业化起步,强调数据价值

吆喝科技是目前公认的国内A/B测试领先者。公司自2014年开展业务以来,注册企业已超过650家。能够提供Web端和移动端的A/B测试服务,服务行业涉及教育、医疗、金融、互联网。按照王晔的说法,凡是通过互联网来提供服务的公司,都能够使用吆喝科技的A/B测试产品。

通过SDK与API接口,用户能快速接入吆喝科技产品,而在A/B测试之外,吆喝科技还提供更定制化的高级功能以及咨询服务,提高数据服务的价值也是公司未来的方向。

在商业化上,吆喝科技的成果已经初步显现。在2015年4月,吆喝科技上线最早的α版本,2016年2月上线免费的AppAdhoc A/B Testing 1.0版本,5月上线收费版AppAdhoc A/B Testing 1.2版,按照调用API次数向企业收费,正式开启商业化路径。

目前公司还处在产品打磨阶段,45人的团队其中大部分是研发人员,其中销售6人,在推广上还是以用户口碑推广为主,大客户辅以线下推广。

创始人王晔表示,目前已经积累起数十家的付费用户,其中包括客单价在50万/年的客户,并预期在明年营收能够达到数千万元。

源自谷歌,巨头参与其中

其实A/B测试源自Google。在2007年前后才产品化,后来慢慢逐渐为很多的互联网企业所使用,Facebook、Uber、Airbnb都使用A/B测试。

Google是A/B测试领域的先行者,A/B测试的理念更是广泛的用于Google的产品策略中——几乎每一个产品目录都有多个项目在互相竞争,这样,即使一个产品失败了,也有另一个(或另几个)产品能够补上。Google产品新功能上线都要经过严格的A/B测试。

Facebook从2011年开始进行A/B测试技术系统的搭建,到现在,Facebook可以实现每一次的改版对于多数的用户的良好体验,其根本的方法就是通过小流量的A/B测试,将效果好的改动广泛推广,将效果不佳的改动立刻放弃。

以上两家巨头可以自己搭建A/B测试服务,但是中小企业自身没有这个实力,只能选择第三方提供服务。

对标公司Optimizely估值已达7亿美金

Optimizely与VWO(Visual Website Optimizer)是其中的佼佼者,尤其是2010年成立的Optimizely,已经成为行业的领头羊。

2015年10月,Optimizely完成5,800万美元的C轮,由Index Ventures领投,跟投方包括Andreessen Horowitz、Bain Capital Ventures、Benchmark Capital和Salesforce Ventures,估值区间在6-7亿美元。而其上一轮融资在2014年4月,估值3.8亿美元,一年半时间估值翻一倍,显示市场对其认可。

最早,Optimizely做Web页A/B测试,主打操作可视化,目前业务已经覆盖至移动端。

2013年,官方表示收入超过千万美元,其中80%收入来自大企业客户,这部份客户客单价在1,500美元/月以上,多的可以达到10,000美元/月;剩余20%左右来自中小客户,这部分客户客单价在几十到几百美元每月不等。

虽然国内市场还处在早期,大部分中国公司还不知道A/B测试,但是A/B测试已经开始引起行业注意,最明显的是,目前苹果AppStore产品上线审核需要一周的时间,传统发布方式一旦新版本出现错误,更新需要投入大量资源,而A/B测试的小流量测试是极佳的解决方案。

随着人口红利的消失,精益理念的普及,企业在获取用户之外,会更加注重细颗粒度的管理,A/B测试这样提升服务效率与服务质量工具性产品的价值将逐渐得到凸显。

师从Google,吆喝科技要支起国内A/B测试市场-ifenxi

近期,爱分析与吆喝科技创始人王晔进行访谈,部分访谈分享如下:

Q:国内A/B测试市场处于什么阶段?

A:即便从全球范围内来说,A/B测试也是一个年轻的技术,而有能力自己完成A/B测试的企业很少,技术难度比较高,系统也很复杂,技术比较出色的公司,他们的技术团队常常会用A/B测试检测自己的算法,但很少有公司能上升到企业决策层面。

目前,大部分的企业还是把A/B测试用在核心技术层面,而在产品新功能、促销、推送等方面相对比较薄弱,数据统计科学性也会受到一定挑战 。

Q:可以实现哪些功能?

A:应用领域包括UI设计、功能设置、算法设计等。

用户在控制台创建很多“试验版本”,每个试验版本可以尝试不同的UI设计和文案。客户可以在控制台管理不同试验版本的试验运行状态、流量分配以及查看详细的数据报告,并选择发布效果更好的试验版本。

Q:A/B测试与APM有哪些不同?

A:APM是对应用访问速度,响应时间,承载能力等的检测,A/B测试更加关注的是针对业务指标的测试和优化,比如不同版本的点击率、转化率等等。总结来说APM的核心是产品可用性数据累积和分析,而A/B测试则偏产品易用性。

APM厂商固然有他们的优势,他们解决开发者的后顾之忧。而我们做的事情恰恰相反,是辅助开发者,所以开发者需要充分利用这个平台。

Q:怎么应对未来的竞争?

A:竞争肯定会有,谁能脱颖而出,就看谁的产品、服务更好。目前市场仍然处于早期,我们的优势在于我们在这个行业内已经积累了一定的经验,而技术方面也存在一些门槛。同时在完善提高产品的同时,我们的客户成功服务也将是我们最大的竞争力。

Q:A/B测试代表的先验数据与后验数据的区别?

A:先验数据是在一个决策完全实施以前就能得出它实施后的效果数据。后验数据是时间发生后通过总结和归纳得出重要的结论。先验数据对企业决策更有用,特别是在瞬息万变的互联网时代,决策的时效性更加重要。

Q:吆喝科技的收费方式?

A:吆喝科技按月收取付费费,目前是根据企业使用后端API调用资源来收取。另外还包括高级功能付费以及咨询付费。

Q:目前的客单价水平?

A:目前是在1万元/月的水平。