技术开发 频道

Sybase Nonstop IQ解决方案介绍


    【IT168 技术文档】 
    一、原理篇

    (一)备份模式介绍 

    对数据库进行备份是为了保证数据库数据的一致性和完整性,消除系统使用者和操作者的后顾之忧。不同的应用环境要求不同的解决方案来适应,一般来说,一个完善的备份策略,应满足以下原则:

    1、 实时性:能够实时在线的对数据库进行备份
    2、 高性能:最小化备份和数据恢复操作需要的时间
    3、 易操作:减少备份的中间环节

    下表为常用的数据库备份与恢复的模式:

备份/恢复模式 优势 劣势
1、系统级脱机高速冷备到磁带 资源消耗低;
备份软件选择多;
以数据库服务中断为代价;
难以支持增量备份;
2、数据库级在线备份到磁带 数据库服务不中断;
成本较低;
主机资源消耗大;
备份和恢复速度均慢;
3、数据库结合存储硬件磁盘块拷贝 消耗主机资源少;
数据库服务不中断;
速度快,秒/分钟级;
存储开销大;

    当然还有一些其他的备份方式比如在线备份到磁盘文件等做法,但其模式类似于备份到磁带,在此不做更深入的讨论。日常的备份一般采用全量/增量混合模式,总的备份时间不长,但一旦数据库损坏需要使用备份进行恢复的时候就会需要很长的时间才能使系统恢复使用。

    基于数据库结合存储硬件的磁盘块拷贝备份,只要磁盘阵列不发生损坏,能够做到几乎秒级的数据恢复可用。但其需要至少增加与数据库大小相同的磁盘容量,因此成本相对较高。

   Sybase IQ作为Sybase公司推出的为数据仓库应用设计和优化的数据仓库引擎,提供三种常规的数据库级备份模式:

 Full backup:
 Incremental backup:
 Incremental-since-full backup:

    一般而言非常好的的策略是混合incremental和full backups。

    (二)备份模式选择
    Sybase IQ以其独特的性能和优异的表现已经在银行、电信、金融、交通、政府等行业的关键业务领域获得了广泛的应用。

    在关键业务领域,譬如像银行的历史数据查询应用,一般都要求数据库有7*24小时服务的能力。系统级的数据库备份/恢复模式   由于其需要数据库停止对外提供服务而不可能获得采纳。数据库在线备份对服务器资源是一个极大的挑战,因为其将使用大量CPU资源和I/O资源从而造成系统性能的下降;另外一个方面,一旦数据库发生损坏,在10TB级数据规模下,任何一种从磁带/磁盘文件的恢复机制都需要至少10-100小时的时间才能完成全库级恢复,这使得几乎无法在固定的时间窗口完成备份/恢复工作,  业务服务将不得不中断,从而造成服务不能满足7*24的要求。

    综合考虑,基于数据库和存储硬件块拷贝结合的备份恢复模式是这些关键业务应用的非常好的选择,随着磁盘硬件价格的不断下降,尤其是Sybase IQ在廉价的ATA磁盘上优异的表现,这一优势得到更进一步的巩固。


    (三)关键技术讨论

    Sybase IQ虚拟备份

    Nonstop IQ的核心是Sybase IQ提供的虚拟备份技术。Sybase IQ服务器由服务器日志(Server Log)、临时数据存储空间(Temp Store)、元数据(Catalog Store)、数据存储空间(IQ Store)、消息日志(Message Log)等组成。Sybase IQ数据库的备份,主要是对元数据和数据进行备份的过程,而在这个过程中,关键就是要做到原数据和数据之间必须保持一致和同步,任何不一致都会导致备份的数据无法正常的恢复。

                                               Sybase IQ物理结构图

    Sybase IQ的虚拟备份方案提供了快速的备份和恢复技术,可以在秒级完成系统备份和恢复过程。因为Sybase IQ的虚拟备份的原理是仅仅备份Catalog Store,IQ Store的备份通过存储硬件的块拷贝或操作系统级的COPY完成,Sybase IQ的虚拟备份技术将保证元数据和数据之间的事务一致性。

    其逻辑步骤如下所示:



    存储硬件块拷贝

    Nonstop IQ技术原则上与采用什么样的存储设备及技术是无关的,象HDS、EMC、SUN、IBM、HP等等厂家提供的存储技术与存储设备都能与Sybase IQ很好地结合实现Nonstop IQ技术。

    由于不同硬件存储厂商对Sybase IQ虚拟备份技术的实施所需要的Local Copy、Delta Copy、Remote Copy以及相关的多通道管理等功能的实现需要的软件不同,其性能也各有差异;而且对于每个硬件厂商而言,并非其所有的存储都支持Sybase IQ虚拟备份技术所需要的这些功能,或者某些功能的实际运行效能情况由于底层技术的差异性导致差别很大,因此需要通过技术验证来对具体的型号的功能和性能是否达到要求来进行评估。

    下面列出的是基于EMC和HP的功能对照表(功能-软件):

功能 EMC HP-EVA
Local Copy:表示同一个磁盘阵列中的磁盘块拷贝。可以采用BCV或Clone技术实现 EMC SnapView_BCV/Clone HP StorageWorks Business Copy EVA Software
Delta Copy:在同一个磁盘阵列中对某一个LUN进行快照,可以产生不同时间点的多个快照,以满足不同时间点的数据需求 EMC SnapView_Snapshot HP StorageWorks Business Copy EVA Software
Remote Copy:不同磁盘阵列间的磁盘块拷贝,支持增量 EMC San copy HP Storage Continue Access EVA
Mulipath:负载均衡/通道管理 EMC PowerPath HP StorageWorks Secure Path
硬件型号 EMC Clariion系列;
EMC Symmetix系列
HP EVA系列,HP XP系列

    磁盘和Raid级别

    目前的磁盘总体分为SATA和FC两种,两种磁盘在随机读取和顺序读取方面各有其不同特点。SATA盘在高随机访问中比FC或者SCSI耗时,大量的顺序访问Sybase IQ数据,SATA盘的性能优于FC磁盘,而Sybase IQ数据仓库备份和恢复是典型的顺序访问存储系统。

    磁盘的RAID级别选择需要综合考虑安全和性能,目前数据库和数据仓库应用中最常用的磁盘级别是RAID5(是一种旋转奇偶校验独立存取的阵列方式,适用于大数据量的操作,也适用于各种事务处理,它是一种快速、大容量和容错分布合理的磁盘阵列)。它与RAID3,RAID4不同的是没有固定的校验盘,而是按某种规则把奇偶校验信息均匀地分布在阵列所属的硬盘上。所以对于RAID5级别得磁盘来说,在每块硬盘上既有数据信息也有校验信息,这一改变解决了争用校验盘的问题,使得在同一组内并发进行多个写操作。

    二、实践篇

 初始全库同步以及灾难发生后全库恢复的性能验证,在主点存储正常的工作的情况下,备库到主库的数据恢复性能;
 实施每日增量数据备份实现的功能和性能;
 实施用数据快照恢复数据库的功能和性能;
 实施瞬间实现由主库到备库的切换,最短的宕机时间来进行恢复操作。
 实施该方案的动态备份特点,即:备库能够启动IQ数据库,进行DBCC检查和读写操作(写操作产生的数据在下一次主备点同步时可以被覆盖或者删除);数据快照上能够启动IQ数据库,进行DBCC检查和查询等操作。

    方案特点

 基本忽略数据库的大小,进行全库备份在秒级或分钟级就能完成;
 瞬间实现由主库到影子库的切换,最短的宕机时间来进行恢复操作;
 进行备份到磁带库时可以将影子设备断开,保证生产服务的最高效率;
 结合软硬件技术,Sybase 虚拟备份可以实现数据库在线备份比传统的备份节省巨大的时间;
 可靠性高,有两台数据库阵列,任何一台发生问题,都不会影响生产的正常运行,可以在分钟级别进行切换到备份数据库上;
    软件配置

产品名称 数量 版本信息 备注信息
操作系统 主备点各一套 12.7  
EMC San copy 主备点各一套 Remote Copy:不同磁盘阵列间的磁盘块拷贝  
EMC SnapView/MirrorView 主备点各一套   BCV/Clone(Local Copy:同一个磁盘阵列中的磁盘块拷贝)
EMC SnapView/MirrorView 主备点各一套   Snapshot(Delta Copy:在同一个磁盘阵列中对某一个LUN进行快照,可以产生不同时间点的多个快照,以满足不同时间点的数据需求)
0
相关文章