技术开发 频道

移动业务运营支撑系统项目亲历记

  对于上述问题,分别采用了如下解决方案:

  1 针对湖南移动BOSS SYSTEM系统出现的性能问题,根据湖南移动BOSS SYSTEM系统的实际应用, 借助ESS Expert和Precise等性能监测工具软件,对主机系统和存储进行了监控,调整和优化,同时对Oracle数据库和应用系统提出调优建议。

  项目分为以下几个阶段:

  • 检查BOSS SYSTEM系统中所有硬件系统,特别是SAN网络中的硬件。

  • 检查SAN交换机的数据流量,观察是否有通道流量不对称、数据包丢失或数据传输过程中有效验错的问题。

  • 分析ESS上的数据分布,安装和配置ESS Expert监测软件,观察是否存在有FC通道、cluster、SSA卡或SSA loop负载不平均的现象。

  • 检查并优化主机系统上AIX运行的参数,使之适合SYSTEM系统的运行。

  • 安装和配置Precise Indepth for Oracle软件,检查ORACLE数据库的参数设置,确定最影响性能的应用程序,协助软件开发商优化应用程序。

  • 两次调整在ESS存储系统上的数据分布,并通过StorWatch EXPERT软件监测ESS存储系统的性能表现;

  • 利用Precise软件监测数据库和应用对系统资源的占用,对主机系统作进一步的调优,并提出对Oracle 数据库和应用程序的调优建议;

  • 性能瓶颈的定位

  一般的调优策略如下:

  在湖南移动的调优中,在数据库的设计和应用设计不做更改的前提下,首先,对IBM存储系统和主机系统作深入细致的参数和配置调整。同时,在湖南移动计费中心技术人员的全力配合下,对ESS存储系统上的数据分布作了大规模的调整,并且通过Precise软件对Oracle数据库性能参数的监控,定位对系统 CPU, I/O等资源消耗严重的瓶颈,对Oracle数据库和应用系统提出性能调优建议。

  2 针对应用的性能状况,修改Oracle的性能参数。

  cursor_sharing的值从exact改为force, 减少internal lock wait.

  spin_count的值从2000调整到5000。

  • 根据Precise的监测和分析结果,检查资源消耗最大SQL语句的逻辑设计,将排名靠前SQL语句的表数据与索引分别存储,建立合适的分区索引,提高资源消耗靠前SQL语句的并行度。

  • 通过StorWatch Expert软件持续监控ESS的使用,掌握ESS的性能表现和使用状况。

  • 通过Precise软件对Oracle和应用有限数据的分析,确定当前应用系统并没有达到理想的运行状态,建议对应用系统作相应的检查和调整。同时,为了更准确定位应用问题所在,建议收集更长时间的数据,再进行更深入的分析。

  3 调整数据在ESS上的分布。

  首先将数据平均地分布在两个cluster上,之后将数据分布在尽可能多的通道上。

  由于整个数据容量有约2120GB,整个数据的迁移需要几十个小时的时间,而在生产系统上是不允许有很长的停机时间进行数据迁移。

  根据多个方案的论证对比,决定采用逻辑卷镜像的方案实施数据迁移。具体的步骤是先将所有的逻辑卷在目的的硬盘上建立镜像、同步数据、再将原硬盘上的镜像部分删除。整个数据迁移工作全部在系统的后台进行,共进行了60个小时,完成所有数据迁移。

0
相关文章