技术开发 频道

Project REAL:业务智能 ETL 设计实施策略


【IT168技术文档】
 
  简介

  成功的业务智能 (BI) 应用程序需要可靠的工具来运行。如果开发人员和管理员具备有关如何执行成功实现方面的有关知识基础(也就是非常好的实施策略信息),也会有助于创建这些应用程序。Microsoft 与其多个合作伙伴通过 Project REAL 为基于 Microsoft(R) SQL Server(TM) 2005 的 BI 应用程序找到非常好的实施策略。在 Project REAL 中,通过创建基于真实客户方案的引用实现来研究非常好的实施策略。这意味着客户数据将被带到企业内部,并用于解决这些客户在部署过程中遇到的相同问题。这些问题包括: 

  架构设计 - 关系架构和 Analysis Services 中使用的架构。 

  数据提取、转换和加载 (ETL) 过程的实现。 

  客户前端系统的设计和部署(用于报告和交互分析)。 

  生产系统大小的调整。 

  系统的持续管理和维护,包括对数据的增量更新。

  通过使用真实的部署方案,我们能全面了解如何使用这些工具。我们的目标是解决大型公司在进行自身真实部署过程中会遇到的各种问题。

  本文主要讨论 Project REAL 的 SQL Server Integration Services (SSIS) 提取、转换和加载 (ETL) 设计。此设计基于 Barnes & Noble 的 ETL 体系结构 - 完全使用 SSIS 构建并且是 SSIS 的第一个 ETL 产品实现。由于此解决方案不是在数据转换服务 (DTS) 或其他 ETL 工具基础上的升级设计,因此所采用的许多方法不同于 DTS 中的典型 ETL 体系结构。此解决方案的目的是利用 SSIS 的全新应用程序体系结构,以另外一种角度思考并设计一种 ETL 过程,使其成为常规的 ETL 设计非常好的实施策略的一个模型。在本白皮书中,我们将说明每一个方案的设计决策和 Project REAL SSIS 处理过程的实现细节。

   有关 Project REAL 的概述,请参阅名为 Project REAL:技术概述的白皮书。Project REAL 在存续期间将导致大量论文、工具和示例的产生。要查看最新的信息,请退回到以下站点:

http://www.microsoft.com/sql/bi/ProjectREAL

  Project REAL 是 Microsoft 和 BI 领域的众多合作伙伴之间的协作尝试。这些合作伙伴包括:Apollo Data Technologies、EMC、Intellinet、Panorama、Proclarity、Scalability Experts 和 Unisys。Project REAL 的业务方案和源数据集由 Barnes & Noble 友情提供。

  注意:本白皮书是初稿,其中包含我们根据使用 SQL Server 2005 的早期社区技术预览 (CTP) 版本的经验推荐的非常好的实施策略。本白皮书在发布时是准确的。本文档中的产品功能可能会改变,将来可能会开发出更好的实施策略信息。
Project REAL ETL 目标

  为了支持报告和分析要求,任何业务智能 (BI) 系统中都存在 ETL 处理。需要按此支持功能实现 ETL。这没有降低 ETL 的重要功能,因为要报告的数据将通过 ETL 处理过程直接进行处理。ETL 要考虑该处理过程的计时、性能和准确性等方面;ETL 设计的支持、管理、灵活性和可扩展性也非常重要。真实系统通常出现一些影响 ETL 的未知情况和异常情况。这就要求 ETL 处理过程能够轻松处理各种变化并为稳定系统的最终目标服务。

对于 Project REAL,这些关键方面使得 ETL 设计需要实现以下几个主要目标:


ETL 管理。为了提供管理支持,实现了可以跟踪和报告 ETL 元数据的设计。这为用户进行参考和故障排除提供了清晰的处理过程状态,有助于隔离问题和解决问题。


动态配置。开发这项功能是为了在发布和分发核心组件时支持企业系统。包含根据企业和技术要求变化以及大型支持开发团队的相应环境来考虑设计的适应性。


平台集成。这涉及到设计一种与 BI 解决方案的多个层次进行交互的解决方案。包括安全性、基础结构、关系和 OLAP 结构、获取数据的报告和分析工具。
• 

性能。鉴于数据仓库中处理和管理的数据量,注意性能问题对于 Project REAL 解决方案来说非常重要。数据总共可高达数 TB。
  内容提要

  本文主要介绍几种特定的设计原则以及从设计过程获得的一些经验教训,并说明解决方案的整体体系结构。文中提供了详细参考并包含解决方案的一些设计要点。随着新解决方案的成熟和在 SQL Server 2005 平台上的开发,将会发布更详细的、更全面的信息。以后的文章将扩充概念,提供优化的性能设计,并可能演示一些更好的设计示例。本文提供一个可靠的基于 SSIS 的 BI ETL 引用。在规划和开发 ETL 的重新设计、升级和新的实现过程中,BI 体系结构设计师可以使用该工具。

  SSIS 的功能远不止仅仅处理 ETL - 它具备系统集成、信息管理和数据转换等众多其他功能。本文只讨论该产品的几个方面,涉及与 ETL 处理过程有关的几个 SSIS 核心部分。
概述

  本文中的示例与 Project REAL 实现直接相关。每个示例都是经过挑选的,分别强调 SSIS 在应用到 ETL 处理时的特定方面。这些示例演示了前文介绍的一部分目标和以下常见的 ETL 方案:


SSIS 开发环境


ETL 审核和记录


用于属性和数据源管理的动态配置设计


标准和独特方案的维度处理


维度关联的事实数据表处理和事实数据表更新


数据处理体系结构设计


数据处理优化技术

  Project REAL SSIS 解决方案中实现了所有这些示例,而且该解决方案已用 90 天的每日和每周生产数据成功运行。处理的数据包括一部分假日零售高峰时的数据,数据时间跨度达两年,以证明此数据作为一个真实示例的稳定性和可靠性。就像前面提到的那样,Barnes & Noble 从 2004 年 11 月就已经在生产 Project REAL ETL 所基于的这个“真实”的 SSIS 解决方案了。在这些示例和数据包中,许多可以或将可以用来仔细审阅实现的特定方面。将来会在 Project REAL 网站上发布此类信息。另外,将在行业会议上提供这些数据包以演示 Project REAL SSIS 设计。
0
相关文章