一、实验内容和目的目的:
1.理解数据挖掘的基本概念及其过程;
2.理解数据挖掘与数据仓库、OLAP之间的关系
3.理解基本的数据挖掘技术与方法的工作原理与过程,掌握数据挖掘相关工具的使用。内容:
将创建一个数据挖掘模型以训练销售数据,并使用“
Microsoft 决策树”算法在客户群
中找出会员卡选择模式。请将要挖掘的维度(事例维度)设置为客户,再将Member_Card 成员的属性设置为数据挖掘算法识别模式时要使用的信息。
然后选择人口统计特征列表,算法
将从中确定模式:婚姻状况、年收入、在家子女数和教育程度。下一步需要训练模型,以便能够浏览树视图并从中读取模式。市场部将根据这些模式设计新的会员卡,类会员卡的客户类型。
二、所用仪器、材料(设备名称、型号、规格等)
操作系统平台:Windows 7 数据库平台:SQL Server 2008 SP2 三、实验原理
知识发现被认为是从数据中发现有用知识的整个过程。
数据挖掘被认为是KDD过程中
使其适应申请各
的一个特定步骤,它用专门算法从数据中抽取模式。KDD过程定义为:KDD是从数据集中识别出有效出、新颖的、潜在有用的,以及最终可理解的模式的高级处理过程。
KDD过程
可以概括为3部分:数据准备(data preparation),数据挖掘及结果的解释和评估(interpretation & evaluation)。
数据挖掘的对象主要是关系数据库和数据仓库,这是典型的结构化数据。随着技术的发展,数据挖掘对象逐步扩大到半结构化或非结构化数据,这主要是文本数据、图像与视频数据以及Web数据等。
数据挖掘任务有6项:关联分析、时序模式、聚类、分类、偏差检测、预测。数据挖掘方法是由人工智能、机器学习的方法发展而来,结合传统的统计分析方法、模糊数学方法以及科学计算可视化技术,以数据库为研究对象,形成了数据挖掘方法和技术。
数据挖掘方法和技术可以分为
6大类:
1.归纳学习的信息论方法:ID3等方法(决策树方法)、IBLE方法(决策规则树方法)2.归纳学习的集合论方法:粗糙集(
方法、概念树方法。
3.仿生物技术的神经网络方法:前馈式网络、反馈式网络、自组织网络4.仿生物技术的遗传算法:繁殖(选择)、交叉(重组)、变异(突变)5.数据数据的公式发现:物理定律发现系统
BACON、经验公式发现系统FDD
rough set)方法、关联规则挖掘、覆盖正例排斥反例
6.可视化技术:提取几何图元、绘制、显示和演放四、实验方法、步骤
要求:利用实验室和指导教师提供的实验软件,认真完成规定的实验内容,
真实地记录
实验中遇到的各种问题和解决的方法与过程,并根据实验案例绘出数据组织模型及其OLAP操作过程。实验完成后,应根据实验情况写出实验报告。五、实验过程原始记录(数据、图表、计算等)
本实验使用Microsoft SQL Server的数据挖掘工具,对一组电信运营商的客户数据进行挖掘,分析客户流失特征,以此来预测当前可能流失的客户,为企业营销提供支持。
首先将待挖掘数据(存放于文本文件中)导入数据库
先在数据库中建立数据表(若直接导入,相应字段的数据类型不匹配,会影响挖掘效果)
USE[DW] GO
SETANSI_NULLSON GO
SETQUOTED_IDENTIFIERON GO
CREATETABLE[dbo][SERV_ID][float][CUST_ID][float]
.[大理PAS流失训练]( NULL,--服务IDNULL,
[ZWSC][float]NULL,--在网时长[BILLING_MODE_ID][float]NULL, [PAYMENT_METHOD][float][ORG_ID][float][NEW_YXSX][float][KB][nvarchar][AGE][nvarchar][LX][nvarchar]
NULL,--付费方式
NULL,--地区IDNULL,
(255)NULL,
(255)NULL,--捆绑其他业务(255)NULL,--年龄(255)NULL,--来电显示
[ZWSC_DSC][nvarchar]
[CL][nvarchar](255)NULL,--彩铃[FEE_ALL][nvarchar](255)NULL, [YC][nvarchar][IS_LS][float])ON[PRIMARY] GO
(255)NULL,--预存
NULL--是否流失, 0表示未流失, 1
表示流失
导入待挖掘数据
打开Microsoft的SQL Server Business Intelligence Development Studio工具,在实验二的OLAP项目中添加刚刚创建导入的数据表
执行挖掘算法,创建挖掘结构,并分析挖掘结果1.Microsoft
决策树
挖掘得到的决策树:
数据挖掘结果:
命中率:
256256
205
100%55.53%
覆盖率:
256256
786
100%24.57%
2.Microsoft神经网络
挖掘得到的模型:
数据挖掘结果:
命中率:
396396
491
100%44.%
覆盖率:
396396
716
100%35.61%
六、实验结果、分析和结论(误差分析与数据处理、成果总结等。其中,绘制曲线图时必须用计算纸)
通过本次实验,我们理解了数据挖掘中主要算法的基本原理和执行过程。
了解了数据挖
掘的基本过程:首先确定挖掘的任务和目的,然后选择挖掘算法,最后实施数据挖掘操作,获取有用的模式,其中选择挖掘算法时需要考虑不同数据的不同特点和用户或实际需求。