第1章 绪论 1
1.1 人工智能及其实现途径 1
1.1.1 智能的外在表现与模拟 1
1.1.2 机器学习 3
1.1.3 人工神经网络 4
1.2 机器学习简史 5
1.3 人工神经网络简史 8
1.4 本书内容与组织 12
参考文献 14
第2章 机器学习基础 15
2.1 机器学习是什么 15
2.2 机器学习方式 17
2.3 归纳学习类型 18
2.3.1 监督学习 18
2.3.2 非监督学习 19
2.3.3 半监督学习 20
2.3.4 强化学习 21
2.3.5 各学习类型的特点与共性 22
2.4 特定学习概念 23
2.4.1 生成学习与判别学习 23
2.4.2 度量学习 23
2.4.3 在线学习与递增学习 24
2.4.4 反馈学习 25
2.4.5 多任务学习 25
2.4.6 深度学习 25
2.4.7 迁移学习 26
2.4.8 流形学习 26
2.4.9 多示例学习 27
2.5 对学习算法的评价 28
2.5.1 过学习与泛化 28
2.5.2 偏置 30
2.5.3 数据鲁棒性 31
2.5.4 计算复杂性 32
2.5.5 透明性 33
小结 34
参考文献 35
第3章 监督学习 37
3.1 函数形式 38
3.1.1 显式表示形式 38
3.1.2 隐式表示形式 38
3.1.3 数据点表示形式 39
3.2 优化目标 40
3.2.1 最小平方误差 42
3.2.2 最小化熵 42
3.2.3 极大似然估计 44
3.2.4 极大后验概率估计 44
3.2.5 最小描述长度 45
3.3 记忆学习 45
3.4 决策树学习 51
3.4.1 决策树 52
3.4.2 基于信息增益的决策树生成算法(ID3算法) 54
3.4.3 ID3算法的过学习问题与对策 57
3.4.4 基于最小描述长度准则的决策树学习算法 60
3.5 支持向量机 62
3.5.1 基本SVM学习目标 63
3.5.2 松弛变量的引入 65
3.5.3 核函数的引入 66
3.5.4 优化方法 68
3.6 贝叶斯学习 69
3.6.1 贝叶斯法则 70
3.6.2 贝叶斯学习的形式 72
3.7 朴素贝叶斯分类器 73
3.8 贝叶斯信念网 75
3.8.1 贝叶斯信念网的形式 75
3.8.2 基于贝叶斯信念网的推理 77
3.8.3 贝叶斯信念网的学习 79
3.9 基于高斯混合模型的贝叶斯分类器 82
3.9.1 高斯混合模型 82
3.9.2 EM算法 83
3.9.3 MMP算法 86
3.10 基于极大后验概率估计的学习 89
小结 91
参考文献 93
附录 有关公式的推导过程 96
第4章 相似性度量 101
4.1 数据类型 102
4.1.1 数据向量 102
4.1.2 数据集合 103
4.2 度量学习 104
4.3 连续型数据向量 106
4.3.1 距离 106
4.3.2 相关系数 111
4.3.3 局部性度量 112
4.4 离散型数据向量 115
4.4.1 二值数据 115
4.4.2 类别数据 118
4.4.3 序别数据 118
4.4.4 混合型数据 118
4.5 简单数据集合 119
4.5.1 分散性度量 119
4.5.2 整体性度量 120
4.6 有序数据集合 121
4.6.1 基于变换系数的度量 121
4.6.2 弹性配准度量与编辑距离 122
4.6.3 动态时间弯曲 125
4.6.4 时间弯曲的编辑距离 126
4.6.5 堆土机距离 128
4.6.6 最长公共子序列长度 130
4.7 结构数据集合 130
4.7.1 树型结构数据 131
4.7.2 图型结构数据 133
4.8 模糊集合 136
4.8.1 模糊集合基础 136
4.8.2 数据向量相似度的推广 138
4.8.3 简单数据集合相似度的推广 139
小结 139
参考文献 141
第5章 聚类方法 146
5.1 聚类基础 146
5.1.1 何为聚类 146
5.1.2 聚类的基本问题 147
5.2 划分聚类方法 150
5.2.1 k-均值聚类 150
5.2.2 k-中心点聚类算法 154
5.2.3 均值迁移算法 157
5.3 层次聚类方法 158
5.3.1 BIRCH算法 159
5.3.2 CURE算法 161
5.3.3 CHAMELEON算法 163
5.4 基于数据密度的聚类方法 164
5.4.1 DBSCAN算法 165
5.4.2 DENCLUE算法 166
5.4.3 基于密度峰值的聚类方法 168
5.5 基于空间网格的聚类方法 168
5.5.1 STING算法 169
5.5.2 CLIQUE算法 170
5.5.3 WaveCluster算法 172
5.6 基于统计模型的聚类方法 173
5.6.1 GMMCluster算法 173
5.6.2 AutoClass算法 173
5.7 基于图的聚类方法 174
5.8 核聚类方法 175
5.9 递增聚类方法 176
5.9.1 递增划分聚类方法 177
5.9.2 递增层次聚类方法 177
5.9.3 基于密度的递增聚类方法 178
5.9.4 基于网格的递增聚类方法 178
5.9.5 基于模型的递增聚类方法 179
5.9.6 基于图的递增聚类方法 179
5.9.7 其他递增聚类方法 179
5.9.8 进化聚类方法 180
小结 180
参考文献 182
附录 有关公式的推导 186
第6章 关联规则挖掘方法 189
6.1 问题定义 189
6.1.1 项集与关联规则 189
6.1.2 “支持度-可信度”框架 191
6.1.3 其他定义 192
6.1.4 数据类型 193
6.2 用于挖掘的基本过程与信息 193
6.2.1 项集网格与支持度的反单调性 193
6.2.2 规则网格与可信度的单调性 195
6.2.3 提高计算效率的基本策略 196
6.3 Apriori算法 197
6.3.1 频繁项集生成 197
6.3.2 规则生成 198
6.3.3 AprioriTid算法与AprioriHybrid算法 199
6.4 ECLAT算法 199
6.4.1 等价类 200
6.4.2 频繁项集生成 202
6.5 FP-growth算法 203
6.5.1 FP-树 203
6.5.2 频繁项集生成 205
6.6 封闭频繁项集挖掘 207
6.6.1 封闭频繁项集的定义 207
6.6.2 A-Close算法 208
6.6.3 CHARM算法 209
6.6.4 FPclose算法 209
6.7 最大频繁项集挖掘 212
6.7.1 FPmax*算法 213
6.7.2 Max-Miner算法 214
6.8 规则兴趣度评价方法 215
6.9 量化关联规则挖掘 218
6.9.1 区间离散化 218
6.9.2 统计量方法 218
6.9.3 模糊化方法 219
6.10 序列数据挖掘 219
6.10.1 Apriori类算法 219
6.10.2 FP-growth类算法 219
6.11 结构数据挖掘 220
6.11.1 用于运算的信息 220
6.11.2 Apriori类方法 221
6.11.3 FP-growth类方法 222
小结 222
参考文献 224
第7章 半监督学习方法 227
7.1 半监督学习的意义 227
7.2 自学习与互学习 228
7.2.1 自学习 228
7.2.2 互学习 228
7.3 基于图的方法 230
7.3.1 最小割算法 231
7.3.2 谐函数算法 233
7.4 基于生成模型的方法 234
7.4.1 高斯混合模型方法 235
7.4.2 朴素贝叶斯混合模型方法 237
7.5 转导SVM 239
7.6 半监督聚类方法 241
7.6.1 基于部分标注的k-均值算法 242
7.6.2 基于两两约束的k-均值算法 243
7.6.3 基于两两约束的层次聚类方法 243
小结 244
参考文献 246
第8章 强化学习 248
8.1 强化学习任务与模型 248
8.1.1 马尔可夫决策过程 249
8.1.2 学习目标 250
8.2 策略、V值与Q值 251
8.3 V值及策略迭代算法 253
8.4 Q学习算法 257
8.4.1 Q函数及其学习 257
8.4.2 应用示例:三阶梵塔问题 258
8.4.3 Dyna-Q学习算法 260
8.5 TD(λ)算法 261
8.5.1 算法原理 262
8.5.2 应用示例:TD-Gammon 263
8.5.3 Sarsa(λ)算法 265
8.6 REINFORCE算法 266
8.6.1 算法原理 266
8.6.2 应用示例:AlphaGo 266
8.7 深度强化学习算法 270
8.7.1 深度Q网络(Deep Q-Network,DQN) 270
8.7.2 A3C算法 271
8.7.3 DDPG算法 273
8.7.4 V值迭代网络 274
小结 275
参考文献 277
第9章 人工神经网络基础 279
9.1 生物神经系统 280
9.1.1 生物神经元的结构 280
9.1.2 生物神经元的功能 281
9.2 人工神经元模型 282
9.2.1 常用整合函数 283
9.2.2 常用激活函数 284
9.3 人工神经网络的结构类型 286
9.3.1 前馈型神经网络 286
9.3.2 反馈型神经网络 287
9.4 人工神经网络的学习方式 288
9.4.1 赫伯学习 288
9.4.2 竞争学习 288
小结 289
参考文献 290
第10章 前馈型神经网络 291
10.1 感知器 291
10.1.1 感知器结构与学习算法 291
10.1.2 感知器应用示例 293
10.1.3 感知器的局限性 293
10.2 ADALN 294
10.3 BP网络 295
10.3.1 BP网络结构 296
10.3.2 BP权值更新规则 297
10.3.3 BP学习过程 299
10.3.4 BP网络应用示例 300
10.4 CNN 302
10.4.1 何谓卷积 302
10.4.2 CNN结构上的其他主要特点 303
10.4.3 CNN的学习 304
10.5 全卷积网络与U形网络 304
10.5.1 网络结构 305
10.5.2 学习方式 307
10.6 深度残差网络 307
10.7 DBN 310
10.7.1 DBN结构 310
10.7.2 RBM学习算法 311
10.7.3 逐层贪婪学习 315
10.7.4 反向精调 316
10.7.5 DBN应用示例 317
10.8 自编码器深度网络 318
10.9 径向基函数网络 320
10.9.1 网络结构 321
10.9.2 学习方法 322
10.9.3 RBF网络应用示例 323
10.10 自组织映射网 324
小结 327
参考文献 328
第11章 反馈型神经网络 331
11.1 霍普菲尔德网络 332
11.1.1 网络结构 333
11.1.2 网络工作原理与稳定性问题 334
11.1.3 能量函数与网络稳定性分析 334
11.1.4 联想记忆 337
11.1.5 优化计算 339
11.2 玻耳兹曼机 342
11.2.1 玻耳兹曼-吉布斯分布 342
11.2.2 模拟退火算法 343
11.2.3 玻耳兹曼机的工作原理 344
11.2.4 RBM 346
11.3 乔丹网络与艾尔曼网络 346
11.3.1 学习方法 347
11.3.2 应用示例:“异或”运算 348
11.3.3 梯度计算问题 349
11.4 LSTM网络 350
11.4.1 记忆神经元 350
11.4.2 网络结构 353
11.4.3 应用示例:自然语言翻译 354
11.5 BRNN 356
11.5.1 网络结构 357
11.5.2 学习方法 357
11.5.3 双向LSTM网络 358
小结 358
参考文献 360
第12章 结语 362
12.1 小样本学习 363
12.1.1 相似性学习 366
12.1.2 元学习 368
12.2 相似度计算 371
12.2.1 基于参照系的相似度度量 372
12.2.2 反映层级关系的相似度度量 374
12.3 网络结构学习 375
12.3.1 权值量化 376
12.3.2 网络剪枝 377
12.3.3 权值矩阵分解与转换 378
12.3.4 知识蒸馏 380
12.3.5 直接优化 380
12.4 人工神经网络可视化 381
12.4.1 直接方法 382
12.4.2 基于反向传播的方法 383
12.4.3 基于决策重要性的方法 384
12.4.4 基于模型的方法 385
12.5 传统方法与人工神经网络方法的合流 386
参考文献 390