性能测试观察指标:
性能测试主要是通过自动化的测试工具模拟多种正常、峰值以及异常负载条件来对系统的各项性能指标进行测试。负载测试和压力测试都属于性能测试,两者可以结合进行。通过负载测试,确定在各种工作负载下系统的性能,目标是测试当负载逐渐增加时,系统各项性能指标的变化情况。压力测试是通过确定一个系统的瓶颈或者不能接收的性能点,来获得系统能提供的最大服务级别的测试。
在实际中作中我们经常会对两种类型软件进行测试:bs和cs,这两方面的性能指标一般需要哪些内容呢?Bs结构程序一般会关注的通用指标如下(简):
Web服务器指标指标:
1、 Avg Rps: 平均每秒钟响应次数=总请求时间 / 秒数;
2、 Avg time to last byte per terstion (mstes):平均每秒业务角本的迭代次数 ,有人会把这两者混淆;
3、 Successful Rounds:成功的请求;
4、 Failed Rounds :失败的请求;
5、 Successful Hits :成功的点击次数;
6、 Failed Hits :失败的点击次数;
7、 Hits Per Second :每秒点击次数;
8、 Successful Hits Per Second :每秒成功的点击次数;
9、 Failed Hits Per Second :每秒失败的点击次数;
10、Attempted Connections :尝试链接数;
11、CS结构程序,由于一般软件后台通常为数据库,所以我们更注重数据库的测试指标:
12、User 0 Connections :用户连接数,也就是数据库的连接数量;
13、Number of deadlocks:数据库死锁;
14、Butter Cache hit :数据库Cache的命中情况
当然,在实际中我们还会察看多用户测试情况下的内存,CPU,系统资源调用情况。这些指标其实是引申出来性能测试中的一种:竞争测试。什么是竞争测试,软件竞争使用各种资源(数据纪录,内存等),看他与其他相关系统对资源的争夺能力。
性能测试的流程步骤
和做其他的测试没有什么区别,做性能测试也要如下步骤来做:
1、 测试需求分析
2、 测试设计
3、 测试脚本开发
4、 测试实施
5、 测试结果分析
测试需求分析,性能测试(或者其他的测试)做的好与坏完全取决于测试分析做得好不好。软件最终始要被应用的,要在应用的实践中考验,所以,任何类型的测试分析都要以实际业务的要求为依据。那么,性能测试的测试需求分析都需要分析哪些内容呢?
1、 性能测试的需求来源。客户需求和期望,实际业务需求,系统需求。
2、 业务数据量级,要根据实际业务分析可能出现数据吞吐瓶颈的地方,比如本案中作者提到的要求每个服务端连接500个客户端,总要求连接5000个客户端。分析到这个程度还不够,还要进一步分析业务操作集中的点,时间段和量。如,本案中客户端开启会自动连接服务端,那么在每天开始上班的时候客户端的开启就会出现峰值,可能会持续20分钟,服务端需要响应客户端的连接请求,请求还可能并发至少 5000/120次每秒,同时短时间内集中请求的频率也是有阈值限制的。
3、 系统架构,在每种不同的系统架构的实施中,开发人员可能选择不同的实现方式,造成实际情况纷繁复杂。我们不可能对每种技术都详细解说,这里只是介绍一种方法提供给你如何选择测试策略,从而帮助分析软件不同部分的性能指标,进而分析出整体架构的性能指标和性能瓶颈。
4、 测试策略和评估标准,任何测试的目的都是确保软件符合预先规定的目标和要求。性能测试也不例外。所以必须制定一套标准。通常性能测试有四种模型技术可用于评估:
* 线性投射:用大量的过去的,扩展的或者将来可能发生的数据组成散布图,利用这个图表不断和系统的当前状况对比。
* 分析模型:用排队论公式和算法预测响应时间,利用描述工作量的数据和系统本质关联起来
* 模仿:模仿实际用户的使用方法测试你的系统
* 基准:定义测试和你最初的测试作为标准,利用它和所有后来进行的测试结果进行对比
测试设计,测试设计是在了解软件业务流程的基础上。设计测试用例的原则是受最小的影响提供最多的测试信息,设计测试用例的目标是一次尽可能的包含多个测试要素。这些测试用例必须是测试工具可以实现的,不同的测试场景将测试不同的功能。因为性能测试不同于平时的测试用例,尽可能把性能测试用例设计的复杂,才有可能发现软件的性能瓶颈。
测试脚本开发,性能测试是通过工具,模拟大量用户操作,对系统增加负载。所以需要掌握一定的工具知识才能进行性能测试。大家都知道性能测试工具一般通过winsock,http等协议纪录用户操作。而协议选择是基于软件的系统架构实现(web一般选择http协议,cs选择winsock协议),不同的性能测试工具,脚本语言也不同,比如rational robot中vu脚本用类c语言实现。
开展性能测试需要对各种性能测试工具进行评估,因为每一种性能测试工具都有自身的特点,只有经过工具评估,才能选择符合现有软件架构的性能测试工具。
测试结果分析,运行测试用例后,收集相关信息,进行数据统计分析,找到性能瓶颈。通过排除误差和其他因素,让测试结果体现接近真实情况。不同的体系结构分析测试结果的方法也不同,bs结构我们会分析网络带宽,流量对用户操作响应的影响,而cs结构我们可能更关心会系统整体配置对用户操作的影响。
希望能对大家做性能测试有所启发。