技术开发 频道

鲜为人知!工行性能测试之痛与APM选型

  【IT168 专稿】在银监会、证监会、保监会的监管条例下, "千万不要出问题!"成为金融行业对其IT部门最为核心最基本的诉求。一直以来银行IT部门给人印象是神秘的,因为银行IT部门的技术人员实在太少出来分享了,大众对其知之甚少。

鲜为人知!工行性能测试之痛与APM选型

  众所周知,传统性能测试流程对资源的开销很大,与现实中快速增长的测试需求存在难以调和的矛盾,作为四大行的中国工商银行(以下简称:工行)如何应对?工行在测试之路上又踩过哪些坑?在性能测试工具的选择上重点关注哪些因素?在APM大会上,老鱼有幸采访到了工行测试部高级经理李雁南,针对以上问题进行了一番畅谈。

鲜为人知!工行性能测试之痛与APM选型
▲中国工商银行测试部高级经理李雁南

  工行APM产品选型重点考量哪些因素?

  在工行,测试部归属数据中心,仅测试部门就有800多人,这是很多互联网企业都难以望其项背的。一直以来,坊间就传言,银行产品选型不差钱,只要能解决问题就好并不特别在意成本,到底真假各占几分?

  李雁南坦言,差不差钱其实是相对的,每个企业都有自己的预算,尤其是测试行业要求的是有限投入最大产出。最近几年,工行测试环境正在尝试接受国内的软件厂商产品,包括成熟的开源产品,只要能解决问题达到预期目标就可以。既然看重功能,在产品选型上工行主要有哪些考量呢?

  李雁南表示,在监控产品选型上,工行有着自己的考量:

  首先是私有化,数据安全对银行重要性不言而喻,包括试用听云APM,工行也选择在测试环境中搭建私有化的环境。其次,每家企业都有一些个性化需求,在产品试用过程中,听云公司等国内软件企业对我们的需求响应的比较及时和准确。

  其次,产品功能上基本满足工行测试工作对中间件监控指标和方法的要求。最后,产品必须能够与工行测试环境已有的数据库和操作系统监控体系有机整合。

  在李雁南表述中有一个很关键的要素,他认为在一些细节的问题处理上,听云表现的很成熟。而并不是像其他厂商可能告诉你,这个问题我们也考虑过,但现在版本还没有实现,以后会实现。

  客观认识APM存在的不足

  说了APM的好,那APM就没问题了吗?显然不是,目前的APM还是存在一些弊端,李雁南表示,工行测试环境试用APM产品主要用于中间件层面的性能评估,但APM对数据库层面的异常捕捉能力有限。面对海量的监控对象、应用间异构性,以及测试环境跟生产环境的资源差异,单纯依靠APM是不行的。APM能够发现功能和性能上的异常,但是并不能解释异常的原因,这时就需要结合工行测试环境的数据库和操作系统层面的监控,做一个整体的性能评估和分析。李雁南补充道,目前的试用阶段,听云的体验比较不错,基本可以达到预期的目标。

  至于选择商用工具还是开源工具,李雁南诚恳地表示,如果开源工具无法满足需求,会考虑商用。但就监控类而言,很多开源产品已经做得很好了,很多互联网公司都在用,有很大的社区群,虽说需要耗费时间、人力、资源进行二次开发,但从银行的角度而言,通过这种方式去提升测试团队的技术能力,借助这些工具,实现自己的测试团队建设才是最终目标。

  传统架构下性能测试的技术痛点

  坑特别多,李雁南感慨的说。以前,通过传统的性能测试基本能覆盖测试需求。随着万人低头时代的到来,移动端的业务增长,业务种类日益丰富,业务规则越来越复杂,数据呈几何级数增长,版本迭代速度加快,性能测试工作面临前所未有的挑战。银行为了应对挑战,功能点改造更加频繁,版本周期不断缩短,但对于性能测试的资源投入并没有明显增加;性能测试覆盖率不断增长的同时性能测试成本却没有明显下降。这就是目前最主要的两大矛盾,工行选择如何应对呢?

工行性能测试之痛与APM选择

  1、使用测试监控解决问题

  抱着试试看的心态,工行测试团队从测试监控1.0做起,遇到问题,解决问题,进而优化架构,到2.0,3.0.通过实际应用反复完善测试监控体系,对性能问题发生的根源进行指标定义和监控,进而实现应用性能评估的最终目标。李雁南表示,目前银行的测试监控体系可能已经在很多互联网公司比较成熟了,但对于银行来说,还处于起步阶段。

  2、数据库监控层面的APM弱点

  业务流经所有的单元,当压力增加时,必然会在存在效率问题的单元出现堵塞,并体现在资源使用率上的异常。李雁南说,工行有完整的性能测试流程和方法论,对于需要安排高并发、大负载的性能测试场景,传统的性能测试就可以发现异常,其实对于APM的需求并不十分迫切。APM主要对无法通过传统性能测试活动覆盖的性能测试需求以及日常的业务功能进行测试,从中间件层面快速的发现问题、定位问题发生点。但具体的问题原因,还是需要进一步分析的。这也就是工行选择APM结合测试环境已有的操作系统和数据库监控去构建测试监控体系的具体原因了。

  对APM的未来期待

  除了对IT工种频繁加班的吐槽,李雁南最后也表达了自己对APM的未来期待。他说,未来APM的发展要看产品关注的方面,做用户体验层面还是问题分析层面的需求是有很大不同的。对于APM的理解,李雁南表示,对于监控数据的分析处理方法和流程是APM公司的核心竞争力,要想达到完美,需要有一个全方位的监控体系,目前的大部分APM在操作系统和数据库层面还缺乏一些功能。总之,APM的未来发展很值得期待。

0