- 云计算
- 企业服务
- 测试
- 移动互联网
移动互联网淘金浪潮中的卖水者
2011年，随着3G网络的出现和智能手机的普及，移动互联网大爆发。不仅是互联网企业纷纷布局移动互联网，开发各式各样的APP应用，连银行等传统企业都将手机银行等移动互联网业务作为发力重点。
大量淘金者的出现必然会引来卖水者。开发APP的过程中少不了测试环节：APP能不能在不同手机上正常运行；短期有大量用户登录会不会造成APP无法运行；开发出来的APP会不会存在很多系统漏洞，导致用户的隐私泄露。
这么多测试工作，仅仅依靠公司内部人员去完成费时费力，需要第三方企业协助完成。Testin就是这样一家提供一站式测试的第三方服务公司，是移动互联网淘金浪潮中的卖水者。
覆盖APP开发、发布、管理分析全流程的一站式测试服务
最初Testin只是提供APP开发阶段的测试，包括真机测试、兼容测试、压力测试、安全测试等。随着业务开展，客户除了开发阶段，在版本迭代、日常运营过程中发现越来越多问题，需要依靠Testin去找出问题的原因，Testin就这样在市场需求的推动下一步步扩充自己的服务内容。
经过5年发展，Testin的测试服务已包括APP开发、发布、管理分析所有环节，真正实现应用生命周期持续迭代的一站式测试服务，其具体业务如上图所示。
从自身定位上，早期Testin只提供测试工具，仅仅是将测试结果呈现给客户；现在的Testin更像是一个服务咨询公司，除了将测试结果报告给客户，还会根据过往经验给客户提供一些指导建议，服务属性更强。
这种经验一方面是大量测试中形成的技术积累，另一方面是因为Testin同时服务大量客户，能够在保护客户隐私的情况下提供一些竞品分析，进行竞争力比较，让客户了解自家APP在同类产品中所处位置。
用滴滴模式发展众测业务，解决人力不足问题
服务属性增加，人员投入必然会增加，因为只有人才能真正了解不同产品用户体验的差异，机器只能作为人的服务，提供一些可量化数据和分析结果。
测试是非常繁重的工作，最近两年Testin客户数增长很快，单靠现有人员满足客户需求非常吃力。科技创业公司还是会将重点放在研发新产品上，而不仅仅是服务现有客户。于是，Testin采用众测模式，将前期采集数据的工作分发出去，自己员工只负责对数据进行清理、分析，给出合理建议。
这种众测模式非常类似滴滴，Testin这边定期会发布任务，众测平台上的用户可以抢单，完成任务后领取报酬。但与滴滴不同的是，这些任务只是整个测试服务中的前期一小部分环节，并不是全部测试工作，众测类似于采集数据，将数据输入到Bugout管理系统，而Testin的交付团队，负责将Bugout管理系统中的这些数据进行整合、清理、分析、形成报告。
目前这个众测平台累计测试者15万，根据不同应用分为50多个大类，每个大类又有若干组，每个组有三千至两万测试者。
从开发者到企业级客户，付费客户超过1万
与很多2B创业公司类似，Testin最初也主要是提供开发者服务，帮助APP开发者解决测试问题。近年，“互联网+”的概念逐步落地，越来越多的传统企业开始将部分业务搬到线上，企业级客户对测试的需求越来越旺盛，Testin的客群范围拓宽至传统企业客户，包括银行等金融机构、新华社等媒体以及政府部门。
尽管传统企业都有各自服务的外包开发商，但这些外包商并不擅长做测试工作，还是需要Testin这样专注测试领域的公司，Testin借助这些渠道很容易接触到传统企业。
企业级客户对安全性有更高的要求，Testin开始提供私有云服务和相关培训咨询，但主要是提供标准化API接口，不帮助企业定制化开发其应用。
Testin在2015年开始商业化，付费客户增长很快。截至2016年底，Testin的用户数超过80万，其中企业用户达到40万，付费客户超过1万。
收费模式上，Testin可大致可以形容为三类：经济舱、商务舱和头等舱。形式上为包月或者包年，对测试项目和次数的上限有要求。
经济舱是免费的，Testin提供一些完全自动化测试工具，包括Beta测试和兼容性测试，几乎不会有任何人力投入。
商务舱会包含Testin全部测试内容，头等舱则会涵盖更多的私有部署，客单价为商务舱的8-10倍。Testin的交付人员大部分服务于商务舱和头等舱客户，不会被免费客户牵扯主要精力。
两大核心优势：技术积累和数据积累
国内提供测试、性能管理服务的公司不少，其中包括OneApm、听云、吆喝科技等。但这类公司大多数是集中于测试的某一个环节。从国外发展情况来看，众测领域有Applause，A/B测试有Optimizely，性能管理有New Relic、AppDynamic，大多数公司都专注于某个细分领域，没有覆盖全流程的企业。
因此，像Testin这样一站式测试服务是非常少见的，爱分析认为Testin主要有以下两大优势：
第一， 技术积累。
一站式测试服务使得Testin的业务线非常宽，尽管在单个环节上，Testin不一定强于其他竞争对手，但是综合起来，是其他公司难以媲美的。
以A/B测试为例，单做A/B测试只是知道用户流失，发现问题，但是问题出在哪些环节是A/B测试不能回答的，还需要辅助其他测试找出问题的关键节点。
毕竟对客户而言，更希望获得一个端到端的服务，完整解决测试过程中所有问题，而不是需要依靠多个工具综合判断找出答案。
第二， 数据积累。
Testin深耕测试领域超过5年，测试过的移动APP超过250万，测试次数超过1.5亿次。在这个过程中积累了大量测试数据，数据积累是其他公司难以匹敌的。
这些数据给Testin带来两个方面的好处：直接输出数据、利用数据训练模型。
一方面，帮助企业客户进行横向比较，了解市场状况、行业标准、自身位置，这是直接输出数据的方式。这一过程并非直接将企业的测试数据卖给竞争对手，而是综合同行业多家企业的数据，为企业级客户提供咨询服务。
另一方面，这些数据可以帮助Testin训练自己的机器学习模型，将人工智能技术加入到测试环节，提升测试效率，降低人员投入。经过5年多的积累，Testin的机器学习模型已经可以完成一些基础测试工作，包括用户名密码输入、页面刷新、显示结果判断等功能测试。
从APP延伸到人机交互，想象空间巨大
随着移动互联网用户增速放缓，初期的粗放红利期即将过去。尽管传统企业在拥抱移动互联网，增加在移动应用方面的投入，但未来移动互联网的增速会逐步放缓，APP测试市场增速也会降下来，下一个增长点会是物联网。
Testin已经从最初的原生应用APP，扩展至移动页面、H5、公众号、小程序，现在已经延伸到可穿戴、混合现实、智能家居、智能汽车、IoT。Testin现在已经和乐视汽车进行深层次的合作，帮助乐视汽车测试各类应用。因此，Testin所代表云测试已经不仅仅止步于移动应用APP，正在向所有人机交互领域去扩张。
对Testin而言，一方面增加传统企业客户服务比例，提升客单价，另一方面，积极布局智能汽车等物联网领域，找到新的爆发市场，扩大产品应用范围。
随着人工智能、IOT的快速发展，应用测试市场会迎来更大市场空间，市场处于爆发前夜。Testin作为这个领域的最早入场者，已经建立扎实的根基，必将会在这个市场爆发时攫取最大份额。
近期，我们对Testin的创始人王军进行调研访谈，现摘录访谈中的精彩片段。
Q：过去一年，Testin在测试这个领域有哪些新的进展？
A：2016年，从技术角度来看，我们有这么几个进展：
第一， 我们将更大的力气花在众测上，解决应用和人的问题。这里面包括人在使用过程中的体验，然后意外的bug，功能上的探索，这些是原来机器测试不全面的，或者机器本身是无法判断的，于是我们靠众测去完成的。
第二， 2016年我们秘密研发了一个产品，其原型可以理解为A/B测试，但这个A/B测试并非传统的A/B测试。我们是把前面做人工智能的数据放进去，帮助开发者做版本迭代测试、版本横向比较测试。我们现在已经给一些互联网金融客户试用，效果非常好。
第三， 我们在安全领域发力，并不是安全问题凸显，而是安全问题跟钱更有关系了。2015年，跟钱相关的应用不多，但2016年应用几乎就是全部的钱包了。
总的来说，Testin在这三方面取得很大进展，在众测的完善、A/B测试的商业化交付、安全和产品质量生态的结合，2017年这三项都会有商业级产品推出。
Q：可以具体讲一讲众测业务么？咱们是专门有一个社区服务这些测试者么？
A：对，众测是另一个网站，最初来源是Testin的用户。很多用户是测试者，在工作交替等闲余时候他会花一些时间学习其他APP，这个学习的过程就是测试过程，有些高手愿意利用这个时间挣点钱。
在我们平台上，现在高级测试者一个月就可以从Testin分账分到一万多，但是这个他每天只需要花不超过4个小时。当然，这个人一定是经过很多版本迭代，经过Testin认证符合要求，而且我们会限制他只能负责某个领域。目前这类分账超过一万的测试者最多一个月有将近一千人。
Q：这样的众测平台很类似滴滴呀，平台会从这里面抽成么？
A：目前是这样的，众测执行的只是整个测试过程中很小一部分，不像滴滴，所有执行、交付、任务、结果都在车上完成。测试是其中的一部分，我们还要做大量的数据整理，结果的判断、分析、整合。
如果这是由专业团队来做，众测做的部分大概是整个任务的三分之一左右。测试过程实际上上是最初级阶段，价值不大，但是要求量很大，我们是把这部分的钱是全部分出去了，我们留的是原本我们该干的工作，包括汇总、分析、交付等。
Q：咱们做的A/Btest和市面上其他做A/B test公司有哪些区别？
A：A/Btest和众测是一个概念，A/B test讲究两个版本之间的测试，通过这种分析判断。作为Testin，我们不是把某一个测试单独拿出来，而是把他组合到一起。
如果说A/B test是说有组用户丢了，去别的地方。我们可能判断这组用户是不是因为兼容性不好流失的，我们会分析出其他原因给你判断。如果单独A/B测试，只能判断用户流失了，什么原因不知道，得去别的部门查找。
Q：相当于咱们从原先互联网客户开始进入传统企业客户市场，在销售、交付等方面有哪些变化？
A：销售和交付发生了很大变化。第一，这些企业需要服务，不是通过在线交流就可以搞定的，需要很长时间的解释、交流、招标、服务交付；第二，需要私有，我们推出私有云就是专为这些企业做的，他们想要的是私有云，而且要培训，这些就是我们对大企业提供服务的手段。
Q：企业会选择用Testin的服务，而不是自己招个人做测试的原因是什么？
A：你们如果自己做APP，招的人工资应该在5K-10K、甚至更高，但仍然不属于高端人才。目前测试工程师在很多企业都属于打杂阶段，是个万金油，即做产品、又做运营辅助，又做测试。其实，我觉得Testin过去主要替代的是成本，现在替代的是效率和Know-how。
单从成本算，自己做也许便宜，但是不能有效。而且你没办法获得比较和竞争信息，这恰恰是Testin不可替代的优势。
Q：机器学习方面的进展有哪些？
A：从六年前Testin就在机器学习方面做积累。机器学习的定义是，人不用干预，机器可以根据他碰到的东西自己做判断，只需要告诉机器一些规则。
开始的一些应用，我们是基于图像变化，然后用OCR读取文字，做下一步判断。随着应用测试多了，来一个应用，机器大概就能判断是什么样子。每天一个终端要对80-100个应用做测试，逐步提升其对应用的判断力。
经过这么多年7x24持续的训练，Testin的自动测试可以实现从应用密码输入、自动刷新、页面覆盖等功能，不需要太多人工干预。但是我们现在机房还是有人管理，还是需要人去判断一些问题，比如电池有没有出现异常、有没有终端异常掉线等。
Q：我看到Testin现在也在做投资，投资了快码、有约这些企业，这是出于哪些考虑？
A：弥补我们生态不足。今天为止，没有任何人能把事情都做完，可以做的是把有潜力的伙伴发掘出来，绑上你的战车，裹挟起来一同奔着目标前进。有的是用投资，有的是用合作。
Testin其实更希望发现早期优秀的技术，快速帮助他们接入客户，这样的话，如果他的产品配合，不管是为Testin还是他自己的发展都有好处。
有约最开始做应用商店的搜索优化，简单说是ASO，现在进化到做应用智能搜索的机器学习模型，可以给开发者建议是这个应用应该在哪个版本上开发，哪个渠道去投放，应该和哪些应用比较参数，投放的用户反馈结果是在哪个终端上更好。有约想做的就是给开发者一个基本判断，对效果进行分析。
快码做的是众包共享经济的开发平台。没有自己的团队做开发，所有的工作都是像UBER一样，让别人来做。
我们现在也在看其他新的领域，如测试技术、数据算法、人工智能、网络数据安全等。
Q：测试这个市场规模大概有多大？
A：两个维度，第一个是现有外部公司做的事，第二个是传统企业用于投入IT基础设施、互联网的预算现在转入移动互联网。参考NelsonHall的数据, 仅仅在2017年全球软件测试就有 340亿美元，超过2500亿元人民币的市场需求。
但从我们的角度来看，我们做的事情不是一个现有市场替代。可能其中一部分是现有市场替代，另一部分会是增量市场。举个例子，国务院发布政府实施纲要，基本想法是政府以后不要搞什么办事处，直接开发APP，在网上办公。我们的客户里有社保、卫生局这些原本不开发APP，都会把他的服务互联网化。
现在GDP与移动互联网的结合还只是在toC领域，等toB市场与GDP的相关越来越大。比如说，银行所有交易行为都在线上而非门店，都是在手机上，社保、工资都是在手机上完成。这样的话，移动互联网和GDP的相关越来越多。于是移动互联网的维护、质量安全、服务费用就会越来越大。
所以我认为用静态量化的方式去判断市场空间都不全面，这是一个迅速增长、膨胀的市场。他的总量天花板是GDP，占比会越来越大。
Q：一般来说，测试费在整个APP开发中占比大概是多少？
A：过去很低，最早的时候我们对一个应用的测试费可能是几百、几千的。现在银行一个不到一千万的移动应用开发，可能要支付15%-20%的测试和质量服务，这是在开发阶段。维护阶段，他可能用于安全、版本迭代、用户分析的比例会越来越多。相对来说，欧美会比较多，测试费占比大概在三分之一以上，中国相对低一些，支付质量服务的比例大概是15%-20%。