社区分享|智慧普华的测试工具及平台选型思路
浙江智慧普华融资租赁有限公司(以下简称为 “智慧普华”),成立于 2013 年 8 月,注册资本 1.0786 亿美元。公司股东为浙江众尖投资有限公司、法国巴黎银行个人金融集团、浙江吉利汽车有限公司和吉利国际(香港)有限公司。智慧普华以吉利控股集团的产业资源和法国巴黎银行个人金融集团的风控体系为依托,在 29 个城市设有分支机构,业务覆盖全国。智慧普华目前主要为个人和公司可以提供吉利、领克、几何、远程、欧铃和钱江摩托等品牌的专属融资租赁产品和服务。
经过多年发展,智慧普华已经具备了雄厚的产品研制、资金融通及风险管控实力,致力于为客户提供专业、灵活、便捷的融资租赁服务。其主营业务包括直租业务、回租业务、商用车业务、摩托车业务和对公业务,旗下平台有 “慧有期”、“智为伴”、“慧享加”、“慧有车”、“智同行” 小程序,以及官方微信服务号 “智慧融资租赁”。
智慧普华初次接触 MeterSphere 开源持续测试平台是利用互联网搜索了解到的。当时智慧普华尝试寻找一款测试平台,希望为团队在软件测试过程中遇到的难点或者困难提供支持。当时,智慧普华测试团队面临的挑战包括:
常规迭代、核心业务系统项目组中不同的测试团队使用不相同的测试策略、不同的 IT 管理工具、不同的方法与流程,导致测试交付效率较低,数据出口不统一;
业务需求入池到上线交付验收的节奏慢慢的变快,测试工作量增加,团队工作持续停留在手工测试阶段,自动化测试覆盖率低,高质量的软件交付难以为继;
现有的禅道、鲁班、Eolinker 工具功能单一且不成熟,数据链路急需进行相对有效整合,为研发、测试一体化提供有力支撑;
缺乏可以有明显效果地且准确地反馈人员能效的工具和平台,团队人员的协调和工作安排需要相关数据的支撑。
考虑到业务发展的需要,智慧普华的软件交付与测试团队计划构建统一的测试平台,以有效规范测试管理工作。对于团队内部的测试平台,智慧普华的具体需求包括:
■ 项目管理:所有测试人员统一使用测试门户来测试计划、跟踪、执行和管理。针对各个项目及项目成员建立隔离的项目测试区域,为每个测试人员创建测试账号,并且分配到一个或多个项目下,各个项目的成员可以在其被授权的项目测试区域下执行测试,管理测试用例、测试计划,执行接口测试和性能测试;
■ 可视化展示:面向测试部门的领导,在线实时可视化展示各个项目的整体测试情况,可视化展示各个项目的版本发布和测试进展,简化沟通环节并减少手工整理测试报告的工作量。能够对测试质量进行直观展示,通过可视化图表动态展示测试数据和状态信息,可视化图表无需开发即可支持用户自定义编排与设计;
■ 测试跟踪管理能力:面向测试小组成员,在开发、测试阶段,在线管理测试用例、测试计划,执行测试计划,查看测试报告,执行接口测试、性能测试,跟踪管理能力覆盖测试计划到测试执行、测试报告分析等阶段。平台需要具备测试用例管理、缺陷管理模块,在软件生命周期中识别、管理、沟通任何缺陷的过程,确保缺陷被跟踪管理而不丢失;
■ 团队协作能力:提高测试团队与其他团队之间的协同力,降低日常沟通成本;
■ 低学习成本、低迁移成本:对于大部分测试人员来说要简单易用,能快速在平台上开展功能测试、接口自动化测试、性能测试和 UI 自动化测试等工作。节省小组成员的学习时间,快速投入到正常的使用中,快速产出成果。对于现有的测试脚本如何存放或使用,希望可以实现最小的迁移或者改造工作量,提升自动化测试水平;
■ 融入 DevOps:能够兼容现有的软件发布流水线,提高软件发布流水线的运转效率;
■ 自动化测试:包括接口自动化、UI 自动化、性能测试自动化模块,能轻松实现对已完成功能测试的模块进行回归,能尽早地发现潜在的缺陷,降低缺陷遗漏率。
智慧普华的测试团队从自身的工作规划和需求出发,最终选择了 MeterSphere 一站式开源持续测试平台作为企业的统一测试管理平台。
先期使用 MeterSphere 平台时,智慧普华的测试团队认为该平台的界面简洁、功能易用,但因为定位于 “一站式” 平台涵盖功能较多,要消耗一定的时间去熟悉和使用。以下是智慧普华测试团队所总结的 MeterSphere 平台及其使用过的其他同类工具的一些优缺点。
短板:编写用例、导图写用例、用例导入功能、XMind 导入功能还存在优化的空间。测试用例不够直观清晰,Bug 提出后不能提醒对应的解决人员,对比 Jira 自由度和可扩展性较小。
优势:接口测试的低代码化设计,学习成本低;集成度高,提高了测试效率并助力测试左移。原来团队使用的禅道与自动化、压测工具都是分散的,没有集成在一个平台上,难以进行统一管理。MeterSphere 作为一站式的测试平台集成了用例、接口自动化、UI 自动化、性能测试,有实际效果的减少了管理成本。
优势:开源软件,易于扩展,采用轻量级设计,能够完全满足多种协议的接口和性能测试。
短板:学习成本比较高,没有办法进行测试脚本管理、无法在线规划测试场景、无法多人实时查看测试过程和测试结果,不方便基于团队的方式开展接口测试和性能测试工作,更别提基于项目的迭代实时展开持续测试了。无法直接引用测试通过的接口,要重新定义和编辑。同样,性能测试的场景规划无法前移到接口测试阶段进行,需要到性能测试执行阶段才开始准备测试脚本。这样的需求对于 Web 平台系统测试来说是很常见的,但 JMeter 不具备这样的管理便利性。
短板:Postman 仅仅是一款测试工具,适合单人单机使用,不适合团队多人、多项目同时开展工作,不利于测试管理。
基于 MeterSphere 持续测试平台,智慧普华实现了与 Eolinker 的对接,实现了接口导入和自动同步接口,开发和测试协同效率得以提升。MeterSphere 开源持续测试平台的一些亮点功能给智慧普华的测试团队留下了深刻印象,也带来了很多实际的收益,具体包括:
测试覆盖率统计:拓展了接口测试、接口自动化测试、性能测试,后续可以完善 UI 测试,提高了测试的覆盖面;
规范测试流程:利用 MeterSphere 平台定义了基于项目维度的测试管理模型,项目管理→编制项目测试计划→设计测试用例(包括功能测试用例、接口测试用例、性能测试用例)→组织测试用例评审→执行测试→输出测试报告,在测试的规范性上更进一步;
标准化测试报告:每一个测试计划完成后,即可生成相应的测试报告,测试质量反馈更高效,实际做到了有理有据,并且系统中测试结果数据高度一致;
测试数据沉淀:通过测试平台积累量化的测试数据对测试人员来管理,以此建立一套可量化的评测体系来衡量测试人员的工作情况,为提高测试能效奠定了基础;
回归测试降本:通过自动化接口测试、自动化性能测试,返回响应的测试结果。针对多业务场景回归测试自动完成测试,并反馈给研发人员对应的测试结果。测试回归效率显著提升,同时也从侧面提升了研发人员的研发效能;
团队协作:通过组织管理、项目管理,让不同的组织、团队、人员都能在持续测试平台上各司其职,从产品需求到用例评审,从用例执行到执行通过率展示,将不同人员的工作有序地串联在一起,在此基础上实现测试全生命周期的管理,加强了人员之间的协同能力,降低了沟通成本;
测试进度把控:将测试过程与效能数据可视化,从团队、人员、项目、测试用例、测试过程、测试结果等多维度做多元化的分析,并且通过可视化大屏的方式来进行直观展现,实现了对项目进度的整体把控。
截至目前,MeterSphere 开源持续测试平台在智慧普华已经运行了七个多月,目前用户规模达到 34 人,承载超过 4 个项目的用例管理,在平台上创建了超过 1800 个功能用例、1500 多个接口用例,以及 100 多个接口和场景用例,对 MeterSphere 平台的 UI 测试模块也在探索过程之中,并初有成效。
经过了一段时间的深度使用,智慧普华对 MeterSphere 开源持续测试平台的迭代优化有着一些期望。
首先是软件质量有提升空间,希望平台的功能使用能更丝滑;其次,希望编写用例、导图写用例、用例导入功能、XMind 导入功能可以有效的进行更大程度的优化。测试用例能更直观清晰,Bug 提出后可以及时提醒到对应的解决人员;第三,希望 MeterSphere 平台能达到甚至超越项目管理工具 Jira 的自由度及可扩展性。