【IT168 新闻】

    背景——海量数据的产生

    瞬息万变的现代社会需要企业及时对外界竞争环境的变化做出快速响应，数据作为企业信息的载体，必须为用户和企业应用提供实时灵活的访问，为企业迅速做出决策提供依据。然而，随着人类信息化程度的提高，数据已超出它原始的范畴，它包含各种业务操作数据、报表统计数据、办公文档、电子邮件、超文本、表格、报告以及图片、音视频等各种数据信息。因此，人们用海量数据来形容巨大的、空前浩瀚的、还在不断增长的数据。任何一个地方的企业都正在努力面对他们公司的数据库由于规模扩大产生的沉重负担，提高海量数据访问能力和业务分析能力的要求也变得越来越紧迫。

一、为什么我们需要海量数据

    海量数据是今天商业面对的一个现实，企业的数据库在规模上不断增长，虽然使用的技术也在不断增加，并且变得越来越复杂，但是数据增长仍保持着着惊人的速度。海量数据的存在具有必然性，企业的任何一个部门，都需要对海量数据进行操作。

    数据爆炸。如今，需要企业进行管理的数据正在以指数级速度增长。分析人员发现，公司收集、存储和分析的有关客户、财务、产品和运营的数据，其增长率达 125% 之多。各个方面的因素导致了数据的爆炸，如：网络应用增加了数据的增长速度；监控点击流需要存储与以往相比越来越多的不同的数据类型；多媒体数据也增加了对存储的要求；我们存储并管理的不仅仅是数字和文字，还有视频、音频、图像、临时数据以及更多内容，这些数据的增长速度也在不断地上升；数据仓库和数据挖掘应用鼓励企业存储越来越长的时间段内越来越多的数据。这些实际情况导致的结果就是数据大量增加。

 法规方面的要求。在会计丑闻的唤醒下，立法者和决策人施加了严格的新要求，几乎影响到全球各家大型企业。从巴塞尔协议第 2 号、Sarbanes¬-Oxley 法案和爱国者法案 (Patriot Act) 等，信息很清楚：法案要求公共公司遵守严格的金融记录保持与报告法规。如果公司不能及时、可靠地访问准确的财务信息，那么它们将面临罚款、调查、起诉、甚至更严厉的股东信心下降的威胁。这要求公司能提供对更多数据的不间断访问能力并进行更多的分析，这必然会延长数据的维护周期，增加数据容量。

 非结构化数据应用的需要。结构化数据是指诸如企业财务账目、客户信息、业务操作数据等具有明显结构化特性的数据。非结构化数据包括扫描文档图像、传真、照片、计算机生成的报告、字处理文档、电子表格、演示文稿、语音和视频片段等。根据业界分析报告，非结构化数据占有整个信息量的85%以上，数据量及其庞大，是信息资源管理的核心。同样，企业需要对非结构化数据进行存储、检索、过滤、提取、挖掘、分析等各方面应用。

 历史数据归档与访问的需要。一般来说业务系统是用来处理业务交易的，为了使这些关键业务系统的性能不会受到严重影响，往往业务系统只存放短周期内的的业务交易数据，大量的历史数据都被备份到磁带上，或者被转移到其他存储设备上静态保存，当对它们运行 SQL 查询时再把它们从档案环境中恢复出来。但是随着企业对数据的重要性越来越重视，以及数据分析、数据挖掘的应用逐渐普及，历史数据的访问将变得重要、频繁和直接。历史数据的不断积累，也对海量数据的存储、管理和访问提出了新的需求。

 数据整合与数据分析的需要。当前，企业信息的存放具有数据结构多元化、存储异构化的特点，企业的数据可能存储在传统系统、大型数据仓库或具有计费、订购、制造、分销或其他功能的数据运营孤岛上，因此会给访问带来极大的困难。数据整合与数据分析已经成为信息管理技术的应用热点。只有在有效的数据整合基础上，才能消除信息孤岛，降低有效信息获取的难度，通过对整合数据的分析和加工来获得制定策略所必需的信息依据。