最近因为面试的关系跟一些大厂的测试经理有过一些交流,我们不妨看看大厂的测试经理们都在做什么吧。

A来自某一线互联网大厂,担任测试经理应该十多年了,有着丰富的质量管理经验。在聊的过程中我发现A近两年的工作重心都放在效能提升方面。因为机会难得,我就问了一些我比较关注的问题。

问:如何提升测试开发比,比如从1比3提升到1比4?

答:我们之前的测试开发比其实也很高,不过现在已经降到1比7或者1比8了。这里面有一些事情是可以做的。首先质量管理方面产品的出厂质量不能降低,质量保障是一个端到端的事情,不能只靠测试同学去保障,研发人员也是质量控制中很重要的一环,所以研发人员在质量上游也要做好测试,这样后面的质量压力就会轻一点。另外我们还会定义标准的出厂测试以及uat测试的流程和指标,哪些东西要测以及怎么测,哪些指标要达到多少,什么环境进行什么样的测试,我们都会定义的很精细,这样才能花比较确定的力气去做一些相对确定的事情。另外需要尽可能的去自动化,或者开发相关的工具平台,给测试提效;最后还要管理好老板的预期,因为尽管有提升的空间,但整个过程还是需要花时间的。

问:自动化测试的维护成本很高,比如系统的频繁改动会导致用例的更新速度跟不上,针对这一点有什么好的办法呢?

答:接口测试没有界面相对来说维护成本还好,但是带ui的自动化测试维护成本确实很高,但一些项目又不能没有ui的自动化测试用例,对于这种情况,我们只能说用外包来尽量补,技术债总是有的,测试也有技术债,需要花成本去还。

在跟A的聊天过程中,我发现大厂的质量管理现在做的越来越精细化和标准化,一些质量度量指标也更加立体和实际,聊完之后非常有收获。

相对于A一直在一线大厂,B的经历要丰富一些。两年多之前在某一线厂负责核心系统的整体测试,目前在二线大厂负责整体的测试工作,下属规模还是比较大的。

问:可以简单了解一下在公司的主要工作职能吗?

答:做的事情可以分为两大块。第一块是规范质量流程,定义质量度量的指标,比如怎么样才算是质量好,这里可以做的事情非常多,比如规范测试流程方面,我们定义了具体的质量保障流程以及流程中的交付物和产出物,质量的管理变得更加的高效和精益。第二块就是测试效率的提升和整体研发效能提升,里面也有很多细节。

问:可以方便了解一下在度量质量方面,我们定义了哪些指标呢?

答:主要的指标就是线上故障数。线上故障数来自几个方面。首先是用户的反馈。用户反馈分三个方面。第一个是吐槽;第二个是产品建议;第三个就是线上故障了。我们通过一些渠道收集这些用户反馈并进行记录;然后是发布时出现的故障,看回滚数就可以了;第三是我们一些钉钉群里的反馈,比如老板的反馈和内部反馈等;最后就是测试和开发在日常使用过程中发现的线上故障数和用户app端上报时发现的故障数。

问:所以线上故障数就是线上bug对吧?

答:不太一样,线上bug是汇总过的,比如一个线上bug可能会引发几百个故障,如果只记录1个线上问题的话,那么就没办法比较好的比较bug的严重程度的。所以记录故障,对故障的影响范围的评估就相对容易一些,就不会出现线上问题的影响范围变小的问题了,因此对线上的质量就有比较客观的评估了。

问:那在效能提升方面,我们做了哪些实践呢?

答:主要几个方面吧。首先定义了标准的开发过程,比如之前我们抽查过一些项目,从需求提出到上线可能要30多天(这里记得不是很清楚了),后来我们通过定义好开发的标准过程,主要是消除状态扭转时的耗时,我们发现需求上线周期可能只要7天了。其实研发的效率并没有得到提升,开发一个需求还是需要3-4天,但是由于过程定义清楚了,大家的职责范围更明确了,就不能甩锅了,因此研发整体效率提升了不少;另一个实践就是专项测试。我记得当时我来的时候某个功能开发要3天,测试却要21天,这实在是吓到我了,后来我们进行了测试专项的优化,这个时间只需要2天了,而且发现的bug数还有了较大的提升,这是一个很典型的例子 。最后就是工具的研发,提升开发的debug效率以及测试的效率。

这两位候选人都是谈吐得体,胸有成竹,思维缜密,经验丰富。尽管目前不参与一线研发工作了,但是两位的技术基础都是过硬的,看一下他们的履历,都是国内一流大学毕业,工作经历都以大厂为主。A基本上是大厂质量管理体系的职位的天花板般的存在;B则是二线大厂的整体质量负责人,也是二线大厂的天花板了。我何德何能竟然以面试官的角色跟二位进行交流,说来确实是惭愧的很。

总来的来说这些高端职位的面试我尽管没有诚惶诚恐,但确实看到了跟一流人才的巨大差距。保持谦逊,向头部人才学习,继续上下求索吧,自勉。