云计算

TestBird创始人李伟:云测试市场渗透率不足三成,共享测试是趋势

云测试领域的潜力标杆公司

2017年05月18日
调研 | 李喆 撰写 | 李喆
  • 云计算
  • 测试
  • 云服务

测试并非一个新兴市场,绝大多数IT厂商都会涉及这部分业务。移动互联网兴起后,快速迭代、极致用户体验成为众多企业追求的目标,这就使得测试变得越来越重要。但企业内部测试人员素质很难满足要求,这种需求与供给的不匹配,诞生了第三方测试厂商。

TestBird是一家华为系的创业团队,他们从事第三方测试领域。这家公司首先切入的就是手游,这个对测试复杂性要求很高的行业,并很快站稳脚跟。

TestBird创始人李伟,曾任华为GSM研发总裁,在华为工作14年,其中一半时间在与测试打交道。2013年,李伟与其他两位华为同事,共同创建TestBird,以手游测试为切入点,意图占据一席之地。

不同于大众观点,李伟认为,测试行业是从服务向工具转变,自动化测试平台会成为主流。只有客户才最了解自身业务,测试厂商只需搭建好底层测试平台,为客户赋能。

近期,爱分析对TestBird创始人李伟进行专访,他对TestBird业务发展、未来战略以及测试行业现状与趋势进行系统阐述,现将精彩内容分享。

华为系创业团队

爱分析:成立TestBird初衷是什么?当时您从华为出来后,是怎么考虑做这件事情?

李伟:在华为任职的14年里,有7年时间做着测试相关的业务。专注于通讯业务的华为,对质量的要求非常高,一旦因为质量原因,打不了电话、上不了网等情况出现,会造成极严重的影响,因此华为非常重视的测试,而内部开发与测试的比例就高达3:1。

华为内部搞了很多自动化测试、测试工具的研究。因为之前在华为担任测试主管,所以在这块业务研究得比较深入,因此出来创业就比较自然选择了这个行业。

爱分析:当时是如何组建TestBird的团队呢?

李伟:最开始、最核心的创始团队是三个人,都是在华为共事多年的兄弟。一个是我们的CTO,他在华为十几年间,一直做华为的测试工具开发,有着极其丰富的经验。另一个是华为用户服务的负责人,他对客户服务这部分经验非常丰富。

爱分析:您之前在华为做测试和现在做测试有哪些差别?

李伟:测试本身这个业务在各个行业都差不多。但要把测试做好,首先是基本测试工具,对测试业务的基本理解;其次就是要对被测对象的业务理解。需要了解并熟悉测试的产品。比如,产品里面的功能、流程、用户是如何使用产品等都需要比较熟悉。

要把测试做好,需要这两部分能力,各占50%。我们从华为出来,对测试工具、测试技能、测试业务理解很深。

从服务向工具转变,自动测试工具平台比重在提升

爱分析:从您这些年的经验来看,整个测试行业经历了几个发展过程呢?

李伟:一开始主要是做兼容性测试,由于科技发展而导致快速迭代,因此接下来,对功能测试这块儿,我们更多的是提供平台,让客户自己来做测试。

再进一步发展,很可能像滴滴那种共享测试业务。我认为这种模式也是未来的发展趋势,从大的来讲,第一块儿是提供测试服务,客户只需要将APP上传,我们做完测试提供测试报告;第二块儿是我们提供测试平台,即一个自动化测试工具,客户自己做测试;第三块儿,就是共享测试,同时测试也会向人工智能领域进一步衍进。

爱分析:为什么测试这个领域是从测试服务向测试工具的方向进行衍进?

李伟:最开始我们给客户核心群体,也就是APP厂商,提供一种测试服务。由于他们不可能购买那么多手机机型,所以最开始的刚需是兼容性测试服务。而兼容性服务不需要厂商自己过来,只需要知道自己的APP在哪些机型上有问题。因此,最初采取某种服务的方式比较合适。等到APP版本已经开发出来,要在上线前做一些全面测试的时候,用服务的形式提供最好。

至于接下来是测试工具和平台,是因为测试阶段前移了,同时对质量要求也越来越高。需要在开发、迭代过程中引入自动化测试;由于自动化测试需要频繁操作,又要保证版本、内容迭代更新的时间够快。所以,让本身就对自己业务有着深刻理解的客户,用我们提供的测试平台来测试,效率、质量都更高。

爱分析:这样做的话,客户黏性会变高?

李伟:客户黏性会很高。因为用过我们平台的客户,体验到了其中的便利与高效后,在后来需要用到测试服务的时候,就会直接找到我们了。

爱分析:付费模式是否会发生变化?

李伟:原来是按每次测试的内容、机器数量来收费。而现在则不同,可以是按照人数、使用时间来收费,也可以是包月或者包年的形式。

爱分析:自动测试平台的主要壁垒除了底层技术还有哪些?

李伟:主要是功能是否全面,易用性是否好,是否足够稳定,能否支持不同公司的需求,以及对行业的理解深度。

爱分析:服务与平台的业务占比如何?

李伟:服务仍是主要业务,但平台的占比会越来越大。服务更容易切入客户,平台才更能留住客户。

爱分析:我们看到最近越来越多企业将众测加入到业务中,这是出于哪些方面的考虑?

李伟:首先,模式上很类似滴滴,我更喜欢称之为共享测试。因为各个公司测试的工作量都存在波峰与波谷。所以一个稍微小点的公司,没有必要招太多测试人员,只需要基本的测试人员,在业务波峰的时候,可以通过众测的方式把这块业务交给第三方测试人员来完成。

第二,有一些APP对测试的人群有要求,希望上海、广州、北京指定地点做一些指定行为。众多企业不可能每个城市都养测试人员,所以这也是需要众测的形式。

第三,APP越来越重视用户行为真实的模拟体验,平时在使用它的这些人,如果能给这个软件反馈使用体验,对APP改进也有较大的帮助。

爱分析:众测业务现在还有哪些难点需要解决?

李伟:现在的难点是企业需要把众测业务包出来,增强对测试平台上测试员的质量信任。很多企业更喜欢用知根知底的自己人。客户最开始的质量信任更多来自于平台,能不能通过平台机制、流程确保每一次测试的质量,都是我们需要严格把控的。

从手游领域起家,建立技术壁垒

爱分析:最初TestBird为什么从手游这个相对比较难的领域切入呢?

李伟:我们出来创业时,当时,我们想选一个细分行业作为切入点,既然广度上没竞争对手强,就在深度上比竞争对手深。

我们的总部在成都,成都这边手游公司比较多。2013年调研了很多APP的公司,手游公司在2013年迅猛发展,不少公司拿到了投资,能为测试业务付费。

总结起来就是两点,第一,我们要跟竞争对手有差异,第二,相对而言,手游这个领域资金更为充沛,也更有市场。

爱分析:TestBird能站住手游这个细分行业,在技术上有哪些优势?

李伟:其实我们当时也是无知者无畏,后来才知道手游测试难度是非常高的,这也是为什么世界上很多测试公司都没有一开始挑战手游。TestBird也是第一个把手游自动化测试技术攻克的。

而最主要的是,手游与APP有三个大的区别。第一,手游的技术架构是三层。底层的操作系统、中间层的游戏引擎、上层的手游软件。一般的APP是两层架构,底层操作系统,上层APP,手游因为中间引入了游戏引擎,所以导致整个手游是比较复杂的。

第二,手游本身是动态的,有各种动画,APP大部分时候是个静态的,是静态的图片。

第三,手游的故事情节很多,分支特别复杂。要把一个手游从头玩到尾,通常需要一两周甚至一两个月。APP要把所有功能全部去找出来玩一遍,一般一两个小时就搞定了,手游在整体上比APP复杂很多。

我们的技术壁垒其实是站在华为的测试平台的基础上,再进一步研究自动化测试技术,结合手游的特点。

爱分析:TestBird从手游切入到其他APP领域时,哪些细分领域的客户更容易付费,客户痛点有哪些?

李伟:我们从2016年开始切入其他APP领域,越是资金雄厚的客户越容易付费,不管什么类型。一些传统公司,像1919、长虹等,这类公司资金实力雄厚,但之前在APP上测试比较欠缺,原来主要做传统WEB端的测试比较多,因为现在越来越多业务移到手机软件上,所以测试重心也慢慢转到APP上。

另外就是一些稍微大的互联网公司,像墨迹天气、携程等有比较多的APP测试需求。

爱分析:像携程这种大型互联网公司,会更倾向于自己做测试还是会找第三方公司?

李伟:他们其实两部分都有,一部分他们自己会开发,另一部分他会选择第三方公司合作。

爱分析:销售模式目前主要是渠道销售还是直销?

李伟:直销和渠道都有。传统企业,特别是大型国企,主要是通过渠道关系销售,中小型客户多数都是直销的方式。

爱分析:大型国企的客单价大概会在多少?

李伟:几十万至上百万不等,最高两百万封顶。

爱分析:给这些企业提供服务时会有很多定制服务么?

李伟:会针对这些企业做一些定制测试,还有就是我们会把测试平台卖给他们。

爱分析:这会不会影响到公司未来的规模化复制能力?

李伟:不会,早期各种类型公司都有各自的需求,不过后来我们发现这些客户的需求通用性比较大,我们会把这些需求集成到我们的平台上。随着我们拓展的公司越来越多,这种完全新的定制其实是越来越少。

爱分析:物联网领域有布局么?

李伟:物联网领域主要针对智能硬件,智能硬件需要与手机做匹配,这部分有一些测试工作。主要是智能硬件与手机的链接,以及智能硬件上面的APP兼容性等。

市场渗透率只有20-30%,移动互联网增速放缓是利好因素

爱分析:您现在判断第三方公司的整体渗透率有多少?

李伟:我觉得整体来看,市场上主要就是我们TestBird与Testin两家。我觉得现在市场空白点还是比较大的,感觉两家加起来也就是20-30%。

爱分析:剩下那些公司是自己做测试还是完全没有这部分投入?

李伟:企业自己做的还是比较少的,除非是特别大的公司,比如华为或者体量稍小的公司。绝大多数企业是没有能力自己投几百部手机、开发一个工具平台的,需要几千万的开发投入和两三年的开发时间。

爱分析:测试费用会占到整个企业开发费用的比例大概是多少?

李伟:首先看企业在研发上的投入,在这个基础上,十分之一至五分之一的钱会投入在测试中。有些企业会将一半测试交出来,让第三方测试公司来做。相对保守的企业可能只将四分之一或者五分之一的测试公司交给第三方来做。

我们看到,在移动测试领域的趋势是,越来越多的公司会把更多的测试内容拿出来与第三方公司合作。

爱分析:这个趋势是企业处于成本考虑还是别的因素?

李伟:主要是专业性,企业自己做测试确实不够专业,他的人力也达不到要求。中大型企业对费用不是特别在乎,他们更为关注的是测试公司的专业性。

爱分析:中美测试市场存在哪些差别?

李伟:美国与欧洲也有一些测试工具厂商,因为他们的人力成本特别高,基本不可能提供测试服务,更多是提供测试平台。欧洲与美国的企业对测试质量要求很高,高级测试工程师的薪酬要高于软件开发工程师20%,在中国恰恰相反。中国的企业对测试工作重视度远远不够。

我们看到市场上,手游公司的数量在减少,但愿意为测试付费的手游公司越来越多。游戏玩家对游戏的质量要求越来越高,如果游戏经常出现卡顿等问题,玩家很容易流失。因此,没有流畅的游戏体验很难留住客户。

爱分析:国外很少出现一站式测试平台,而国内至少有TestBird与Testin两家,原因是什么?

李伟:国外对知识产权的保护做得很好,某个人做了一个技术环节,其他人基本不会再做这个技术环节。除此之外,国外厂商野心没有那么大,基本上做测试的一个环节就足够养活团队了。

爱分析:我们看到现在移动互联网增速在放缓,像TestBird这样服务移动互联网公司的企业会不会受到影响?

李伟:这对我们来说,反而是个机会。现在流量成本越来越高,获取流量代价很高,公司就需要口碑传播,这就要求企业在用户体验必须做好。测试是用户体验的关键环节。我们能看到,现在付费用户的比例在逐步提高,企业也会把更多预算投入到测试上。