技术开发 频道

谢邦昌:数据挖掘转向应用和方法创新

  3.记者:目前业界有哪些常用的Data Mining分析工具?

  谢邦昌:Data Mining工具市场大致可分为三类:

  (1) 一般分析目的用的软件包:
        SAS Enterprise Miner
        Microsoft SQL Server 2005 – 2008
        IBM Intelligent Miner
        Unica PRW
        SPSS Clementine
        SGI MineSet
        Oracle Darwin
        Angoss KnowledgeSeeker
        Statistica
  (2) 针对特定功能或产业而研发的软件:
        KD1(针对零售业)
        Options & Choices(针对保险业)
        HNC(针对信用卡诈欺或呆帐侦测)
        Unica Model 1(针对营销业)
  (3)整合DSS(Decision Support Systems)/OLAP/Data Mining的大型分析系统:
        Cognos Scenario and Business Objects

  4.记者:对于刚刚接触Data Mining的人来说,想把它学好,您有什么好的建议?

  谢邦昌:先从问题着手,Domain Knowledge 是很重要的具体应重视三方面的问题:

  (1)强调需求,重视过程和结果。虽然统计学和数据挖掘一样,都是在寻求实际数据解决方案的过程中成长起来的,然而统计学家更关注模型,运用数据仅仅是为了发现新的模型,而数据挖掘则更强调知识的价值,模型是用来发现知识的工具。强调需求,重视过程和结果才能实现统计创新。

  (2)借鉴机器学习的特点,提炼方法,以算法的形式体现方法。统计学早已脱离正态的传统框架发展方法。但是,由于统计最新的可以被直接使用的成果太少,不仅阻碍了人们对统计方法的运用,甚至造成对先进统计方法的不甚了解。数据挖掘的兴起,为统计学与信息技术的结合带来了发展的契机。计算机技术将成为继数学之后,又一推动统计学发展的强大工具。

  (3)发挥统计软件的优势。许多“傻瓜”统计软件的设计,更适合统计学家研究使用,任何一个初通统计的数据分析员要想通过软件来进行数据分析,都极有可能由于对数据涵义的不求甚解,导致脱离实际的统计模型的滥用,数据挖掘软件也是如此;Clementine、SQL Server 2005及SAS和S-plus被设计为可以通过编程来调节软件的默认属性,用这样的软件工作可以增强统计研究者的算法意识;最后,统计软件为统计研究的目的,在图形和可视化方面的互动操作,应该在数据挖掘的软件中体现这一思想,因为它可以帮助数据分析员理解高维数据复杂的结构。

  从数据挖掘在国际上的发展来看,数据挖掘的研究重点已从提出概念和发现方法,转向系统应用和方法创新上,研究注重多种发现策略和技术的集成,以及多种学科之间的相互渗透,数据挖掘技术迫切需要系统、科学的理论体系作为其发展的有力支撑。

  最近,由经验统计方法和人工智能相结合而产生的衍生技术,如分类回归树(Classification And Regression Tree, 简称CART),卡方自动交互探测法(Chi-square Automatic Interaction Detector,简称CHAID)等前沿方法,以算法的形式展示了统计和信息技术结合发展的新方向。这些都预示着数据挖掘技术与统计学的集成已成为必然的趋势。

  我们坚信,随着统计学与现代信息技术的融合,在方法上不断进行新的探索,一定会为统计学和数据挖掘未来的发展开辟一片新的天地。

  5.记者:Web Mining 和Data Mining有什么不同?

  谢邦昌:如果将Web视为CRM的一个新的Channel,则Web Mining便可单纯看做Data Mining应用在网络数据的泛称。
   
  该如何测量一个网站是否成功?哪些内容、优惠、广告是人气最旺的?主要访客是哪些人?什么原因吸引他们前来?如何从堆积如山之大量由网络所得数据中找出让网站运作更有效率的操作因素?以上种种皆属Web Mining 分析之范畴。

  Web Mining 不仅只限于一般较为人所知的log file分析,除了计算网页浏览率以及访客人次外,举凡网络上的零售、财务服务、通讯服务、政府机关、医疗咨询、远距教学等等,只要由网络连结出的数据库够大够完整,所有Off-Line可进行的分析,Web Mining都可以做,甚或更可整合Off-Line及On-Line的数据库,实施更大规模的模型预测与推估,毕竟凭借因特网的便利性与渗透力再配合网络行为的可追踪性与高互动特质,一对一营销的理念是最有机会在网络世界里完全落实的。
   
  整体而言,Web Mining具有以下特性:1. 资料收集容易且不引人注意,所谓凡走过必留下痕迹,当访客进入网站后的一切浏览行为与历程都是可以立即被纪录的;2. 以交互式个人化服务为终极目标,除了因应不同访客呈现专属设计的网页之外,不同的访客也会有不同的服务;3. 可整合外部来源数据让分析功能发挥地更深更广,除了log file、cookies、会员填表数据、在线调查数据、在线交易数据等由网络直接取得的资源外,结合实体世界累积时间更久、范围更广的资源,将使分析的结果更准确也更深入。
   
  利用Data Mining技术建立更深入的访客数据剖析,并赖以架构精准的预测模式,以期呈现真正智能型个人化的网络服务,是Web Mining努力的方向。

0
相关文章