机器学习导论（原书第2版）

全面讨论机器学习方法和技术，层次合理、叙述清晰、难度适中。
涵盖了经典的机器学习算法和理论，同时补充了近年来新出现的机器学习方法。

《机器学习导论（原书第2版）》讨论了机器学习在统计学、模式识别、神经网络、人工智能、信号处理等不同领域的应用，其中涵盖了监督学习、贝叶斯决策理论、参数方法、多元方法、多层感知器、局部模型、隐马尔可夫模型、分类算法评估和比较以及增强学习。
《机器学习导论（原书第2版）》可供完成计算机程序设计、概率论、微积分和线性代数课程的高年级本科生和研究生使用，也可供对机器学习感兴趣的工程技术人员参考。

Ethem Alpaydin，土耳其伊斯坦布尔博阿齐奇大学（Bogazi?i University）计算机工程系教授。他于1990年在瑞士洛桑联邦理工学院获博士学位，1991年在加州大学伯克利分校国际计算机研究所（ICS, UC Berkeley）做博士后工作；之后作为访问学者，先后在美国麻省理工学院、加州大学伯克利分校国际计算机研究所、瑞士戴尔莫尔感知人工智能研究所(IDIAP)从事研究工作。他是土耳其科学院院士，IEEE高级会员，牛津大学出版社《The Computer Journal》杂志编委和Elsevier出版社《Pattern Recognition》杂志副主编。

Introduction to Machine Learning,Second Edition
出版者的话
中文版序
译者序
前言
致谢
关于第2版
符号表

第1章绪论1
1.1什么是机器学习1
1.2机器学习的应用实例3
1.2.1学习关联性3
1.2.2分类3
1.2.3回归6
1.2.4非监督学习7
1.2.5增强学习8
1.3注释8
1.4相关资源10
1.5习题11
1.6参考文献12

第2章监督学习13
2.1由实例学习类13
2.2VC维15
2.3概率逼近正确学习16
2.4噪声17
2.5学习多类18
2.6回归19
2.7模型选择与泛化21
2.8监督机器学习算法的维23
2.9注释24
2.10习题25
2.11参考文献25

第3章贝叶斯决策定理27
3.1引言27
3.2分类28
3.3损失与风险29
3.4判别式函数31
3.5效用理论31
3.6关联规则32
3.7注释33
3.8习题33
3.9参考文献34

第4章参数方法35
4.1引言35
4.2最大似然估计35
4.2.1伯努利密度36
4.2.2多项密度36
4.2.3高斯(正态)密度37
4.3评价估计：偏倚和方差37
4.4贝叶斯估计38
4.5参数分类40
4.6回归43
4.7调整模型的复杂度：偏倚/方差两难选择45
4.8模型选择过程47
4.9注释50
4.10习题50
4.11参考文献51

第5章多元方法52
5.1多元数据52
5.2参数估计52
5.3缺失值估计53
5.4多元正态分布54
5.5多元分类56
5.6调整复杂度59
5.7离散特征61
5.8多元回归62
5.9注释63
5.10习题63
5.11参考文献64

第6章维度归约65
6.1引言65
6.2子集选择65
6.3主成分分析67
6.4因子分析71
6.5多维定标75
6.6线性判别分析77
6.7等距特征映射80
6.8局部线性嵌入81
6.9注释83
6.10习题84
6.11参考文献85

第7章聚类86
7.1引言86
7.2混合密度86
7.3k-均值聚类87
7.4期望最大化算法90
7.5潜在变量混合模型93
7.6聚类后的监督学习94
7.7层次聚类95
7.8选择簇个数96
7.9注释96
7.10习题97
7.11参考文献97

第8章非参数方法99
8.1引言99
8.2非参数密度估计99
8.2.1直方图估计100
8.2.2核估计101
8.2.3k最近邻估计102
8.3到多元数据的推广103
8.4非参数分类104
8.5精简的最近邻105
8.6非参数回归：光滑模型106
8.6.1移动均值光滑106
8.6.2核光滑108
8.6.3移动线光滑108
8.7如何选择光滑参数109
8.8注释110
8.9习题111
8.10参考文献112

第9章决策树113
9.1引言113
9.2单变量树114
9.2.1分类树114
9.2.2回归树118
9.3剪枝119
9.4由决策树提取规则120
9.5由数据学习规则121
9.6多变量树124
9.7注释125
9.8习题126
9.9参考文献127

第10章线性判别式129
10.1引言129
10.2推广线性模型130
10.3线性判别式的几何意义131
10.3.1两类问题131
10.3.2多类问题132
10.4逐对分离132
10.5参数判别式的进一步讨论133
10.6梯度下降135
10.7逻辑斯谛判别式135
10.7.1两类问题135
10.7.2多类问题138
10.8回归判别式141
10.9注释142
10.10习题143
10.11参考文献143

第11章多层感知器144
11.1引言144
11.1.1理解人脑144
11.1.2神经网络作为并行处理的典范145
11.2感知器146
11.3训练感知器148
11.4学习布尔函数150
11.5多层感知器151
11.6作为普适近似的MLP153
11.7后向传播算法154
11.7.1非线性回归154
11.7.2两类判别式157
11.7.3多类判别式158
11.7.4多个隐藏层158
11.8训练过程158
11.8.1改善收敛性158
11.8.2过分训练159
11.8.3构造网络161
11.8.4线索162
11.9调整网络规模163
11.10学习的贝叶斯观点164
11.11维度归约165
11.12学习时间167
11.12.1时间延迟神经网络167
11.12.2递归网络168
11.13注释169
11.14习题170
11.15参考文献170

第12章局部模型173
12.1引言173
12.2竞争学习173
12.2.1在线k-均值173
12.2.2自适应共鸣理论176
12.2.3自组织映射177
12.3径向基函数178
12.4结合基于规则的知识182
12.5规范化基函数182
12.6竞争的基函数184
12.7学习向量量化186
12.8混合专家模型186
12.8.1协同专家模型188
12.8.2竞争专家模型188
12.9层次混合专家模型189
12.10注释189
12.11习题190
12.12参考文献190

第13章核机器192
13.1引言192
13.2最佳分离超平面193
13.3不可分情况：软边缘超平面195
13.4v-SVM197
13.5核技巧198
13.6向量核199
13.7定义核200
13.8多核学习201
13.9多类核机器202
13.10用于回归的核机器203
13.11一类核机器206
13.12核维度归约208
13.13注释209
13.14习题209
13.15参考文献210

第14章贝叶斯估计212
14.1引言212
14.2分布参数的估计213
14.2.1离散变量213
14.2.2连续变量215
14.3函数参数的贝叶斯估计216
14.3.1回归216
14.3.2基函数或核函数的使用218
14.3.3贝叶斯分类219
14.4高斯过程221
14.5注释223
14.6习题224
14.7参考文献224

第15章隐马尔可夫模型225
15.1引言225
15.2离散马尔可夫过程225
15.3隐马尔可夫模型227
15.4HMM的三个基本问题229
15.5估值问题229
15.6寻找状态序列231
15.7学习模型参数233
15.8连续观测235
15.9带输入的HMM236
15.10HMM中的模型选择236
15.11注释237
15.12习题238
15.13参考文献239

第16章图方法240
16.1引言240
16.2条件独立的典型情况241
16.3图模型实例245
16.3.1朴素贝叶斯分类245
16.3.2隐马尔可夫模型246
16.3.3线性回归248
16.4d-分离248
16.5信念传播249
16.5.1链249
16.5.2树250
16.5.3多树251
16.5.4结树252
16.6无向图：马尔可夫随机场253
16.7学习图模型的结构254
16.8影响图255
16.9注释255
16.10习题256
16.11参考文献256

第17章组合多学习器258
17.1基本原理258
17.2产生有差异的学习器258
17.3模型组合方案260
17.4投票法261
17.5纠错输出码263
17.6装袋265
17.7提升265
17.8重温混合专家模型267
17.9层叠泛化268
17.10调整系综268
17.11级联269
17.12注释270
17.13习题271
17.14参考文献272

第18章增强学习275
18.1引言275
18.2单状态情况：K臂赌博机问题276
18.3增强学习基础277
18.4基于模型的学习278
18.4.1价值迭代279
18.4.2策略迭代279
18.5时间差分学习280
18.5.1探索策略280
18.5.2确定性奖励和动作280
18.5.3非确定性奖励和动作282
18.5.4资格迹283
18.6推广285
18.7部分可观测状态286
18.7.1场景286
18.7.2例子：老虎问题287
18.8注释290
18.9习题291
18.10参考文献292

第19章机器学习实验的设计与分析294
19.1引言294
19.2因素、响应和实验策略296
19.3响应面设计297
19.4随机化、重复和阻止298
19.5机器学习实验指南298
19.6交叉验证和再抽样方法300
19.6.1K-折交叉验证300
19.6.25×2交叉验证301
19.6.3自助法302
19.7度量分类器的性能302
19.8区间估计304
19.9假设检验307
19.10评估分类算法的性能308
19.10.1二项检验308
19.10.2近似正态检验309
19.10.3t检验309
19.11比较两个分类算法309
19.11.1McNemar检验310
19.11.2K-折交叉验证配对t检验310
19.11.35×2交叉验证配对t检验311
19.11.45×2交叉验证配对F检验311
19.12比较多个算法：方差分析312
19.13在多个数据集上比较315
19.13.1比较两个算法315
19.13.2比较多个算法317
19.14注释317
19.15习题318
19.16参考文献319
附录A概率论320
索引328

第1章绪论
1.1什么是机器学习
为了在计算机上解决问题，我们需要算法。算法是指令的序列，它把输入变换成输出。例如，我们可以为排序设计一个算法，输入是数的集合，而输出是它们的有序列表。对于相同的任务可能存在不同的算法，而我们感兴趣的是如何找到需要的指令或内存最少，或者二者都最少的最有效算法。
然而，对于某些任务，我们没有算法；例如，我们没有将垃圾邮件与正常邮件分开的算法。我们知道输入是邮件文档，最简单的情况是一份字符文件。我还知道输出应该是指出消息是否为垃圾邮件的“是”或“否”，但是我们不知道如何把这种输入变换成输出。所谓的垃圾邮件随时间而变，因人而异。
我们缺乏的是知识，作为补偿我们有数据。我们可以很容易地编辑数以千计的实例消息，其中一些我们知道是垃圾邮件，而我们要做到的是希望从中“学习”垃圾邮件的结构。换言之，我们希望计算机（机器）自动地为这一任务提取算法。不需要学习如何将数排序，因为我们已经有这样的算法；但是，对于许多应用而言，我们确实没有算法，而是有实例数据。
随着计算机技术的发展，我们现在已经拥有存储和处理海量数据以及通过计算机网络从远程站点访问数据的能力。目前大多数的数据存取设备都是数字设备，
1记录的数据也很可靠。以一家连锁超市为例，它拥有遍布全国各地的数百家分店，并且在为数百万顾客提供数千种商品的零售服务。销售点的终端设备记录每笔交易的详细资料，包括日期、顾客识别码、购买商品和数量、消费总额等。这是典型的每日几个G字节的数据。连锁超市希望能够预测某种产品可能的顾客。对于这一任务，算法同样并非是显然的；它随时间而变，因地域而异。只有分析这些数据，并且将它转换为可以利用的信息时，这些存储的数据才能变得有用，例如做预测。
我们并不确切地知道哪些人倾向于购买这种口味的冰淇淋，或者这位作家的下一本书是什么，也不知道谁喜欢看这部新电影、访问这座城市，或点击这一链接。我们不能确切地知道哪些人比较倾向于购买哪种特定的商品，也不知道应该向喜欢读海明威作品的人推荐哪位作者。如果我们知道，我们就不需要任何数据分析；我们只管供货并记录下编码就可以了。但是，正因为我们不知道，所以才只能收集数据，并期望从数据中提取这些问题或相似问题的答案。

……

机器学习使用实例数据或过去的经验训练计算机，以优化性能标准。当人们不能直接编写计算机程序解决给定的问题，而是需要借助于实例数据或经验时，就需要学习。一种需要学习的情况是人们没有专门技术，或者不能解释他们的专门技术。以语音识别，即将声学语音信号转换成ASCII文本为例。看上去我们可以毫无困难地做这件事，但是我们却不能解释我们是如何做的。由于年龄、性别或口音的差异，不同的人读相同的词发音却不同。在机器学习中，这个问题的解决方法是从不同的人那里收集大量发音样本，并学习将它们映射到词。
另一种需要学习的情况是要解决的问题随时间变化或依赖于特定的环境。我们希望有一个能够自动适应环境的通用系统，而不是为每个特定的环境编写一个不同的程序。以计算机网络上的包传递为例。最大化服务质量的、从源地到目的地的路径随网络流量的改变而改变。学习路由程序能够通过监视网络流量自动调整到最佳路径。另一个例子是智能用户界面，它能够自动适应用户的生物特征，即用户的口音、笔迹、工作习惯等。
机器学习在各个领域都有许多成功的应用：已经有了识别语音和笔迹的商用系统。零售商分析他们过去的销售数据，了解顾客行为，以便改善顾客关系管理。金融机构分析过去的交易，以便预测顾客的信用风险。机器人学习优化它们的行为，以便使用最少的资源来完成任务。在生物信息学方面，使用计算机不仅可以分析海量数据，而且还可以提取知识。这些只是我们（即你和我）将在本书讨论的应用的一部分。我们只能想象一下可使用机器学习实现的未来应用：可以在不同的路况、不同的天气条件下自己行驶的汽车，可以实时翻译外语的电话，可以在新环境（例如另一个星球的表面）航行的自动化机器人。机器学习的确是一个令人激动的研究领域！
本书讨论的许多方法都源于各种领域：统计学、模式识别、神经网络、人工智能、信号处理、控制和数据挖掘。过去，这些不同领域的研究遵循不同的途径，侧重点也不同。本书旨在把它们组合在一起，给出问题的统一处理并提供它们的解。
本书是一本入门教材，用于高年级本科生和研究生的机器学习课程，以及在业界工作、对这些方法的应用感兴趣的工程技术人员。预备知识是计算机程序设计、概率论、微积分和线性代数方面的课程。本书的目标是充分解释所有的学习算法，使得从本书给出的方程到计算机程序只是一小步。为了使这一任务更容易完成，对于某些情况，我们给出了算法的伪代码。
适当选取一些章节，本书可用作一学期的课程。再额外讨论一些研究论文的话，本书也可以用作两学期的课程，这时每章后的参考文献将很有用。
我非常喜欢写这本书，希望你能喜欢读它。