技术开发 频道

阿里巴巴测试难题

【IT168 技术文章】

    测试技术方面:

    (一) 功能测试

    1测试环境搭建时编译抛出错误,快速判断是否系代码问题 
    2测试中抛出500错误(或log文件中error),快速判断系代码or数据or外部接口问题
    3自动化测试脚本是否细化验证点为所有可验证内容(页面所有内容显示区域、数据库、搜索引擎、cache、本地cookies等)? 检查细化,但维护量非常大
    4(高优先级) 测试数据准备工具(数据库、搜索引擎、cache等持久化或临时数据)
    5个人pc机本地测试环境差异(操作系统状态、完整性,浏览器版本、完整性),引起问题的原因是软件的添加/卸载,浏览器插件安装/删除,补丁程序,系统设置与浏览器设置等等
    6 数据准备 如:不同类型账号生成,像生成10中供新单账号, 10个中供服务中账号等等,批量生成而不需要手工完成,否则效率慢了。
    7 搜索引擎支持多个站点,每个站点又有不同的数据应用,se.conf存在众多的配置项、分词器,测试的矩阵非常庞大,如何保证尽少资源获取最好测试效果
    8 抽样检查分词器的功能有遗漏,但分词器算法和外部已有的分词器算法不同,如何提高分词效果核对效率
    10 海量数据查询结果正确性验证

    (二) 性能测试
    1 生产环境硬件模拟
     生产环境依赖于外部昂贵的设备,在测试环境开展性能测试如何模拟?比如有专用邮件服务器,图片服务器,CACHE服务器?

    2 数据模拟
    生产环境的数据量巨大,如何剪裁合适的数据集作为性能测试基准数据?

    3 用户行为模拟
    虽时间变化日志系统分析的数据会很快过时,如何低成本跟进访问模式
         
    4 特殊场景下性能瓶颈定位与监控等等
    比如国际站凌晨2点突然LOAD 升高,原因未明
 
    5  容量规划的效果如何衡量
  

    (三) 质量管理平台
    1 没有缺陷报告平台,需要详细或自定义报表时无法给出如QC 的报表、需求管理2部分功能一直没有采用。
    2 项目管理、需求管理、缺陷管理多个系统入口, 并没有统一关联。另外代码与需求之间映射关系随着业务变更也难以一一映射
    3  现有的软件测试平台更适合传统的大型软件测试,能否、如何定制更适合快速上线的WEB系统?
     
    (四) 测试管理
    1 测试机器的使用权限(Linux、Windows)管理,做到近少互相干扰
    2 如何有效度量测试工程师的绩效?
    3 (高优先级) 如何更快找到合适的测试人才?
    4 (高优先级)如何提高开发、测试双方的满意度?
    5 (高优先级)如何提高估计测试时间的准确度?
 
    (五) 测试新技术的应用与推广 

    1  如何有效开展安全与漏洞测试
    如:sql注入,cookie安全机制,安全证书、加密等. 服务器与客户端的安全漏洞检测等
    2 白盒测试工具引入及白盒技术等
    如:单元测试工具Junit, parasoft的白盒测试工具使用与引入等。
    3 自动化测试在项目中是否需要介入,何时介入?(数据准备?回归测试?)
    4  如何在自动化覆盖率和验证点密度  与自动化成本间找到一个合理的平衡点


    测试策略与方法方面
    (一) 测试用例分析与设计
    1 冗余的测试用例的精简化问题
    2 (高优先级) 底层代码的修改如何测试,回归范围如何确定,测试策略如何确定?
    如 ejb, jboss改造的性能与功能测试
    3 如何使用冒烟测试对大型软件进行快速测试,用例的选择问题
    4 如何为复杂产品/大型测试项目选取测试策略? 如
    镜像站点测试
    异地数据同步测试
    重构项目测试 
    5 Apache Modul如何测试(功能测试与性能测试)如中文站最近发布的将Image server固定域名通过modul替换成动态域名?
    6 (高优先级)支持多浏览器(IE6/ie7/firefox...)/多OS软件如何测试? 支持国际化语言版本的软件如何测试?如国际站网站支持英文,繁体版,马来西亚语言。
    降低成本的测试方法有哪些?
    正交表测试方法满足我们的需求么?
    7 (高优先级)如何在时间、进度压力下,最优选取测试集合?回归测试的面积多大算合理?
    8(高优先级) 跨部门、跨公司的接口测试如何开展,以提高协调效率?
    如中文站和阿里软件贸易通状态接口,国际站和后台CRM 接口,

    (二) 测试执行

    1开发的代码中缺少足够的接口来支持自动化或者黑盒测试的问题
    2 反复测试引发的测试疲劳如何应对(个人、团队)?交叉测试什么时候引入合适?如何衡量交叉测试的绩效?

    (三) 测试标准
    1 如何定义测试“完成”,比如如何定义搜索引擎测试完成?
    2 如何提升对项目是否可以release的影响力
    3 (高优先级)如何清晰度量产品的测试质量
    按测试覆盖率?按BUG遗漏数?按已经发现BUG的曲线图?哪些标准度量最合适
    4 测试人员是否需要了解代码,了解代码需要到达何种程度?
    5 如何在没有单元测试代码情况下,度量代码测试覆盖率

 

0
相关文章