云计算

Testin:云测试领跑者,海量数据结合机器学习有何化学反应?

Testin的服务涵盖云测试各环节,基于测试、测评数据,Testin会为客户制订具体的解决方案。

2016年06月17日
  • 云计算
  • Testin
  • 开发者服务
  • 云测试

Testin:云测试领跑者,海量数据结合机器学习有何化学反应

公司亮点:

(1)5年测试服务经验,技术、数据沉淀;

(2)同多家应用商店合作,海量测试APP;

(3)一站式云测试平台,全流程覆盖.

风险提示

(1)BAT及云测试创业公司带来的市场竞争风险;

(2)公司机器学习等技术的研发风险。

2011年是移动互联网大爆发之年,苹果发布iPhone4S,成最畅销机型,Android全球市场份额首次超过塞班。与此同时,智能终端碎片化问题凸显,测试需求激增。创立于2011年的Testin从兼容测试切入移动应用测试服务。

Testin创始团队中,董事长蒋晓海、CEO王军二人曾共同创立即时通讯应用PICA,在移动互联网领域积淀深厚。PICA的创业经验让Testin少走了弯路,专注于测试服务。

Testin的服务涵盖云测试各环节,从内测、功能测试、兼容测试到崩溃分析、性能管理;测评层面则结合旗下APPBase数据库提供横向的比较、测评。基于测试、测评数据,Testin会为客户制订具体的解决方案。

行业对比

云测试服务中,不乏提供测试、性能管理服务的,但像Testin这样各环节都涉及的较少。测试服务的厂商如Fir.im也有做崩溃分析,有往性能管理发展的趋势;性能管理服务商则还涉及到服务器、Web端的服务,服务前移的可能性不大。

除创业企业,BAT等巨头也将其测试能力打包成服务,会对Testin造成一定影响,但开发者会对其中立性、服务优先级有所顾虑。

测评层面,Testin的报告基于测试及应用性能,与用户层面的测评不同,能给开发者带来新视角的结论、建议。

下一步战略

App Store上应用有180多万款,Google Play上有160万款,Testin已测试的APP有176万(包括合作应用商店中的软件测试),可测试应用空间已不大,Testin的下一步战略在于提升测评能力、服务能力。

测评能力方面,Testin着力在做三点:机器学习、数据挖掘、人工智能,这三点主要发挥其资源沉淀的优势;

服务能力层面则针对具体用户,提供行业解决方案及App出海解决方案,通过能力建设开发增量客户;

对标

业务上有重合的对标公司包括TestFlight、Applause、New Relic。TestFlight提供内测服务,于2014年被苹果收购;Applause(原名uTest)是应用众测平台,于2014年1月获高盛领投的4,300万美金E轮融资(2013年营收2,400万美金,2014预计3,500万美金,E轮估值5亿美金);New Relic主要提供性能监测、性能管理服务,2015年营收1.67亿美元,净亏损,市值在11-17亿美金区间。

Testin CEO:王军

近期,爱分析与Testin联合创始人兼CEO王军进行了一场对话,现将访谈的精彩瞬间摘抄如下,与您分享。

Q:Testin目前定位?

A:Testin是内测、开发过程中的功能、质量一站式策略平台,以及发布后的运营监测分析平台。Testin提供功能验证、Bug检测、压力测试、兼容测试、安全测试,实际运行中的性能、闪退、崩溃监测及用户认知、应用测评等服务。

Q:国内外对标公司?

A:国外公司专注于细分领域,如众测的Applause、APM的New Relic,内测有TestFlight,像Testin这样具综合检验能力的公司较少。国内有一些Testin的追随者,他们需要在服务上扎得很深,才能对Testin形成足够的威胁,也存在创业者想从其他角度弯道超车。

Q:同APM等细分领域企业的竞争关系?

A:更多是合作的关系,他们的产品基于客户阶段性需求,客户需求包括内测、外测、然后才是运营分析,APM是第三阶段,在这之前,Testin已经和客户谈了很多场恋爱,APM的管道、收入漏斗还是少。

Q:Testin的竞争力?

A:首先是多年的积累、沉淀,测试的方法、脚本、驱动、专利还有产业链的合作,这些沉淀对于他人是门槛;

然后是Testin积累的市场口碑、专利和用户的认可,这些也需要时间来沉淀;

最后是提供横向的测评报告,这是单独服务商做不到的。

Q:公司的积累、沉淀有何体现?

A:国内市场超过80%的App我们都测试过,我们的AppBase数据库有250多万应用的测试数据,其中正式发布过的App有160多万,持续更新的App30多万。主流的60多个应用商店我们都有合作,开发者的APP都是我们测试完之后再上架,360手机助手的应用质量评分就是Testin的测试结果。还有就是我们有很多App的Beta版本测试数据,这些是你普通渠道获取不了的。

Q:测评服务有何特色?

A:Testin的测评是从开发者角度的测评,包括APP的性能、用户使用情况以及和其他APP的横向对比,是一个APP质量的反馈系统。

Q:应用测评的数据来源?

A:部分APP会植入SDK,也会从第三方终端厂商、运营商获取数据,覆盖6亿多终端数据,自采数据占一半。第三方信息在脱敏之后做分析报告,从间接数据分析出APP的运营质量、团队能力、潜力。

Q:谈谈Testin的众包模式。

A:众包测试人员是有一定能力的专业测试者,主要解决Testin In-House完成不了的问题,在其闲暇时间分派任务,完成后给予报酬。Testin有众测人员参与的服务占了40~50%。

Q:众包、测试服务、产品分析等业务在营收中的贡献?

A:这些服务都在产业链中,不单独承担营销指标,每个服务都缺一不可。Testin首先是服务公司,绝大部分服务是自身员工提供,众包人员不直接提供服务,而是通过Testin提供服务,并获得分成。

Testin的基本服务在内测、兼容测试、崩溃分析是免费的,现在中国前500的APP绝大部分都在使用Testin的兼容测试。这些服务开发者基本够用,但并不是所有人都够用,这就是增值服务的价值,交互、解决方案做的就是这个补习工作。

Q:增值服务是每个都要单谈吗?

A:服务正在向线上标准化发展,客户需求不一样,第一次接触需要和交互接触。

Q:客户情况?

A:Testin目前有超70万用户,去年游戏居多,今年游戏可能就是很小一部分,传统企业、银行、金融会增加,典型付费用户比如京东、CCTV、国务院、微信等。

Q:公司人员构成?

A:我们的服务人员类似Gartner分析师,要了解客户需求,帮客户制定方案,这类同事有100多;执行交互、脚本录制管理、远程分析的有100多人;产品研发不到100人;后勤不到50人。

Q:机器学习层面会有创新企业弯道超车机会?

A:Testin从第一天做的就是机器学习的事,我们需要把所有的脚本、图片、标识、文字整理,然后再做下一步判断。这块只有见得多、学得多之后才能积累经验。最大的竞争不来自外部,来自内部,关键是公司能不能和客户需求合拍,伴随客户成长而成长。

Q:公司会往开发者服务平台发展?

A:理论上所有的企业服务都可以理解成ToB的入口,最后还是要看服务承载形式,未来会不会做开发者服务平台还是看未来。Testin是个很好的企业入口,获客成本相对低些。

Q:融资计划?

A:融资的时间成本、资源成本很高,还是看缘分和机会。