本书共16章,分三个部分:基础篇、实战篇、提高篇。基础篇介绍了数据挖掘的基本原理,实战篇介绍了一个个真实案例,通过对案例深入浅出的剖析,使读者在不知不觉中通过案例实践获得数据挖掘项目经验,同时快速领悟看似难懂的数据挖掘理论。读者在阅读过程中,应充分利用随书配套的案例建模数据,借助相关的数据挖掘建模工具,通过上机实验,以快速理解相关知识与理论。
第一部分是基础篇(第1~5章),第1章的主要内容是数据挖掘概述;第2章对本书所用到的数据挖掘建模工具R语言进行了简明扼要的说明;第3章、第4章、第5章对数据挖掘的建模过程,包括数据探索、数据预处理及挖掘建模的常用算法与原理进行了介绍。
第二部分是实战篇(第6~15章),重点对数据挖掘技术在电力、航空、医疗、互联网、生产制造以及公共服务等行业的应用进行了分析。在案例结构组织上,本书是按照先介绍案例背景与挖掘目标,再阐述分析方法与过程,最后完成模型构建的顺序进行的,在建模过程关键环节,穿插程序实现代码。最后通过上机实践,加深数据挖掘技术在案例应用中的理解。
第三部分是高级篇(第16章),介绍了基于R语言二次开发的数据挖掘应用软件——TipDM数据挖掘建模工具,并以此工具为例详细介绍了基于R语言完成数据挖掘二次开发的各个步骤,使读者体验到通过R语言实现数据挖掘二次开发的强大魅力。
封面图
目录
前言
基础篇
第1章数据挖掘基础2
1.1某知名连锁餐饮企业的困惑2
1.2从餐饮服务到数据挖掘3
1.3数据挖掘的基本任务4
1.4数据挖掘建模过程4
1.4.1定义挖掘目标4
1.4.2数据取样5
1.4.3数据探索6
1.4.4数据预处理7
1.4.5挖掘建模7
1.4.6模型评价7
1.5常用数据挖掘建模工具7
1.6小结9
第2章R语言简介10
2.1R安装10
2.2R使用入门11
2.2.1R操作界面11
2.2.2RStudio窗口介绍12
2.2.3R常用操作13
2.3R数据分析包16
2.4配套附件使用设置18
2.5小结18
第3章数据探索19
3.1数据质量分析19
3.1.1缺失值分析20
3.1.2异常值分析20
3.1.3一致性分析22
3.2数据特征分析23
3.2.1分布分析23
3.2.2对比分析25
3.2.3统计量分析27
3.2.4周期性分析29
3.2.5贡献度分析30
3.2.6相关性分析31
3.3R语言主要数据探索函数35
3.3.1统计特征函数35
3.3.2统计作图函数37
3.4小结40
第4章数据预处理41
4.1数据清洗42
4.1.1缺失值处理42
4.1.2异常值处理45
4.2数据集成45
4.2.1实体识别46
4.2.2冗余属性识别46
4.3数据变换46
4.3.1简单函数变换46
4.3.2规范化47
4.3.3连续属性离散化48
4.3.4属性构造51
4.3.5小波变换52
4.4数据规约55
4.4.1属性规约55
4.4.2数值规约58
4.5R语言主要数据预处理函数61
4.6小结65
第5章挖掘建模66
5.1分类与预测66
5.1.1实现过程66
5.1.2常用的分类与预测算法67
5.1.3回归分析68
5.1.4决策树73
5.1.5人工神经网络79
5.1.6分类与预测算法评价83
5.1.7R语言主要分类与预测算法函数87
5.2聚类分析89
5.2.1常用聚类分析算法89
5.2.2K-Means聚类算法90
5.2.3聚类分析算法评价95
5.2.4R语言主要聚类分析算法函数95
5.3关联规则97
5.3.1常用关联规则算法97
5.3.2Apriori算法98
5.4时序模式102
5.4.1时间序列算法103
5.4.2时间序列的预处理104
5.4.3平稳时间序列分析105
5.4.4非平稳时间序列分析107
5.4.5R语言主要时序模式算法函数114
5.5离群点检测116
5.5.1离群点检测方法117
5.5.2基于模型的离群点检测方法118
5.5.3基于聚类的离群点检测方法120
5.6小结122
实战篇
第6章电力窃漏电用户自动识别126
6.1背景与挖掘目标126
6.2分析方法与过程129
6.2.1数据抽取130
6.2.2数据探索分析130
6.2.3数据预处理133
6.2.4构建专家样本137
6.2.5模型构建138
6.3上机实验143
6.4拓展思考144
6.5小结144
第7章航空公司客户价值分析145
7.1背景与挖掘目标145
7.2分析方法与过程146
7.2.1数据抽取149
7.2.2数据探索分析149
7.2.3数据预处理150
7.2.4模型构建153
7.3上机实验158
7.4拓展思考159
7.5小结159
第8章中医证型关联规则挖掘160
8.1背景与挖掘目标160
8.2分析方法与过程162
8.2.1数据获取163
8.2.2数据预处理165
8.2.3模型构建169
8.3上机实验171
8.4拓展思考172
8.5小结172
第9章基于水色图像的水质评价173
9.1背景与挖掘目标173
9.2分析方法与过程174
9.2.1数据预处理175
9.2.2模型构建177
9.2.3水质评价179
9.3上机实验180
9.4拓展思考180
9.5小结181
第10章家用电器用户行为分析与事件识别182
10.1背景与挖掘目标182
10.2分析方法与过程183
10.2.1数据抽取184
10.2.2数据探索分析185
10.2.3数据预处理185
10.2.4模型构建195
10.2.5模型检验198
10.3上机实验200
10.4拓展思考201
10.5小结202
第11章应用系统负载分析与磁盘容量预测203
11.1背景与挖掘目标203
11.2分析方法与过程205
11.2.1数据抽取206
11.2.2数据探索分析206
11.2.3数据预处理207
11.2.4模型构建208
11.3上机实验213
11.4拓展思考214
11.5小结215
第12章电子商务智能推荐服务216
12.1背景与挖掘目标216
12.2分析方法与过程222
12.2.1数据抽取224
12.2.2数据探索分析225
12.2.3数据预处理230
12.2.4模型构建235
12.3上机实验245
12.4拓展思考246
12.5小结251
第13章基于数据挖掘技术的市财政收入分析预测模型252
13.1背景与挖掘目标252
13.2分析方法与过程254
13.2.1灰色预测与神经网络的组合模型255
13.2.2数据探索分析256
13.2.3模型构建259
13.3上机实验273
13.4拓展思考273
13.5小结274
第14章基于基站定位数据的商圈分析275
14.1背景与挖掘目标275
14.2分析方法与过程277
14.2.1数据抽取277
14.2.2数据探索分析278
14.2.3数据预处理279
14.2.4模型构建282
14.3上机实验286
14.4拓展思考286
14.5小结287
第15章电商产品评论数据情感分析288
15.1背景与挖掘目标288
15.2分析方法与过程288
15.2.1评论数据采集289
15.2.2评论预处理292
15.2.3文本评论分词297
15.2.4模型构建298
15.3上机实验312
15.4拓展思考313
15.5小结314
提高篇
第16章基于R语言的数据挖掘二次开发316
16.1混合编程应用体验——TipDM数据挖掘平台316
16.2二次开发过程环境配置320
16.3R语言数据挖掘二次开发实例322
16.4小结325
参考资料326