Testin成立于2011年，是国内第一批第三方测试平台。起先公司是从“兼容测试”切入市场，提供“云测试（Cloud Testing）”服务：开发者不必自己购买真机，可以直接借助云测平台进行功能、性能和兼容可用性等测试。接着公司在2014年推出了针对应用的“崩溃实时分析”功能，2015年推出了类似“滴滴模式”的众包测试平台以及内测分发功能，去年发布了针对应用bug的“缺陷管理系统”，并将Testin上已有的测试服务串联起来，提高开发者效率。

　　解决了产品（APP或网页）的前期测试和发布问题之后，Testin又在今年年初推出了“A/B tests”模块，意在帮助开发人员解决在产品的更新迭代阶段遇到的各种难题。

　　什么是A/B tests？

　　一款产品发布后会经历多次优化和新版本上线。每次功能或UI要不要改、怎么改，仅靠开发团队拍脑袋决定的试错成本太高。这时应用A/B tests就可以帮助企业更为科学地评估各种想法和决策的价值。

　　A/B tests的实质是控制变量进行实验。举例来说，当开发人员在按钮选择红色还是绿色之间纠结时，可以设置两个除了按钮颜色不同之外完全相同的版本，并选取行为相似的两群用户样本，将两个版本产品分别推送给这些用户进行测试。然后跟踪分析用户行为和反馈，让用户告诉企业哪个版本好，用数据辅助决策。

　　做好A/B测试有三点比较关键：要测试什么功能、被测试样本的选择、如何统计分析数据结果。Testin针对第一点为用户提供了可视化编辑和编码编辑的功能，前者通过将手机交互界面实时转移到电脑上，开发人员可以在电脑端直接对交互界面进行编辑，例如更改文字和颜色、调整支付方式的顺序等。其他更为复杂的改变可以通过后者完成。产品更改完成之后就可以直接发放给用户。

　　第二点是样本的选择。由于A/B tests是通过样本的测试结果预测总体趋势，atv，因此样本的选取直接关系到结果是否真实有参考价值。一方面，Testin通过设置设备标签和用户标签进行用户分流，保证样本的可靠性，避免出现有的用户既用了A也用了B的情况。设备标签是用户手机的型号、分辨率等参数信息。用户标签是用户的数据，例如男女，企业提交用户数据后，后台会帮助企业完成分流进行投放。另一方面是样本的大小，Testin建议样本总体至少需要是月活量的30%-50%，而每版的测试用户需要在5000到50,000间。如果月活量在千万以上则样本就要更大。

　　第三点是结果追踪分析。Testin通过埋点等技术实时采集用户的数据，包括UV（独立访客量）、PV（页面浏览量）以及按钮点击量等关键指标。并且使用统计学的方法例如置信度和置信区间对结果进行分析。置信度是对结果可靠度的要求，置信区间是指预测的总体平均值范围。例如A版本的用户点击量的置信区间是[2.3%,10%]，置信度设为95%。则意味着如果A全量发布，所有用户的点击量均值将会有95%的概率大于2.3%且小于10，即可以认为A版本的改进是有益的。

　　此外，基于A/B 测试 Testin还上线了灰度发布的功能，即新版本上线之前可以先对一小撮用户（大概1%到5%的比例）进行测试，一旦体验反馈不好或者出现bug，就能立即动回滚到老版本。

　　不同于Growing IO、神策这些“后验”型的运营平台，Testin强调AB测试是“先验”管理。所谓先验是指新产品先对样本用户测试，根据结果再选择版本推送给所有用户。而后验是指新产品先推送给所有用户，再分析用户反馈数据进行优化。

　　目前A/B测试模块是以预付租金（包月、包年）的形式进行收费，并且在合同期内不限测试次数。从年初上线到现在已为几十位客户提供了服务，客单价在几万到几百万不等。

　　为什么推出这个模块？

　　Testin 副总裁陈冠诚介绍，一是流量红利消失，用户获取成本和试错逐渐升高，互联网进入精细化运营的时代，而A/B tests则是非常有效的工具。二是尽管在国外有对标企业，例如去年刚完成5700万美元B轮融资的Optimizely。在国内也有BAT等一些大公司可以自己做A/B tests，但那些人数小于2000人的互联网公司或是传统企业依然存在着不知道怎么做以及自行组建相关团队成本太高等困难。此次上线的新模块恰好满足了企业的需求。

　　至此，Testin逐渐建立起完整的一站式的测试服务。目前包括远程真机、功能测试、兼容测试、自动化私有云、A/B测试、APP推广六个核心模块。据创始人王军介绍，atv，今年上半年Testin还将发布新的安全产品。

　　据了解，公司目前规模在500人左右，客户来自互联网、金融、汽车和快消等行业，已为滴滴、雀巢和奔驰等大公司提供服务。