计算机科学论坛--六种挖掘武器

贴子主题：六种挖掘武器

本主题类别: 数据挖掘

转自 http://blog.csdn.net/toicecream/archive/2004/12/08/209509.aspx

　　数据仓库的建设和数据挖掘建模是DM价值链上的两大技术要点。数据挖掘从狭义的角度讲，只管从数据到知识这一段。俗话说：“没有金刚钻，不揽瓷器活”。作为一个数据挖掘人员的起码要求，就是充分掌握各种挖掘工具的性能、局限、应用条件等。

　　一般说来，数据挖掘有如下六件武器：描述统计、关联和相关、分类和聚类、预测、优化、结构方程模型。简要说明如下：

　　（1）描述统计（Descriptive statistics）

　　描述统计是数据挖掘的入门兵器，直观、简单，高手常常用来摘叶飞花。描述统计包括平均数、中位数、众数、分位数、百分比、求和等。描述统计经常和统计图（如直方图，条形图，线图，散点图，茎叶图等）配合使用。目前应用最为广泛的OLAP，究其本质就是针对不同的数据群在做描述统计。

　　描述统计的应用十分广泛：比如当月公司利润总额，比较不同区域的销售量等等。

　　（2）关联和相关（Association and Correlation）

　　关联规则从本质上讲是条件概率：A发生时，B同时也出现的概率是多大？只要B离50％较远，就是有意义的。

　　关联规则的一个典型的现代应用是“啤酒加尿布”。在应用关联规则时还需要多考虑的一个问题是：这条规则遵循者的数量怎样？通俗的说就是，如果超市的尿布只有一个人买（假设），但是这人每次买尿布时，一定会买啤酒。尽管这条规则很可信（100％），但是意义却不大。

　　在应用关联规则时，要注意两点：关联不一定是因果，关联是有方向的。

　　相关也是考虑两个事物之间的关系，典型的度量方法有Pearson相关系数和Kendall相关系数。

　　（3）分类和聚类

　　分类和聚类是最常用的技术。

　　一般说来，分类的方法有三种：回归、决策树、神经网络。

　　聚类和分类的最大区别就是，分类是有监督的，聚类是无监督的。什么叫监督呢？就是标准，或者说有目标变量。聚类是没有目标的。“物以类聚，人以群分”。聚类是不知道每一类有什么特征的，聚后再总结，再发现共同点。

　　（4）预测

　　预测的常用方法是时间序列，回归也可以用来预测。

　　时间序列常用的方法有：ARMA，指数平滑和趋势外推等。时间序列的最大特点就是充分挖掘事物本身随时间的规律。因为，任何事物，比如企业销售额，在没有特别的外在因素影响下，总是有规可循的。

　　（5）优化

　　优化本是运筹学中的一个概念，主要解决的一个问题是在各种约束条件下，如何合理配置资源，使目标要素最大（小）化。

　　（6）结构方程模型

　　不同于以上应用，结构方程模型重点在于如何揭示事物内部的结构和相互作用的原理。比如，如何度量客户满意度？客户满意度与客户期望，产品，价格，服务，投诉处理和客户忠诚是什么关系？是怎么作用的？只有搞清楚了这些关系，才可能不断提高客户满意度和客户忠诚度。结构方程模型就起到这种作用。


	W 3 C h i n a ( since 2003 ) 旗下站点苏ICP备05006046号《全国人大常委会关于维护互联网安全的决定》《计算机信息网络国际联网安全保护管理办法》	70.313ms