决策树在《统计学习方法》书中对决策树的模型有一个规范的回答。最顶端的是根节点，对样本所有的预测都是从根节点开始依次判断。每个圆形的都是一个用于判断的节点，每一个节点只对属性的其中一个特征进行判断，比如说上文的苹果，圆形节点要么判断颜色，要么判断硬度等等，总之只判断其中的一个特征。在判断节点中只保存告诉你该往哪走的信息，在判断节点中并没有有关结论的信息。矩形节点就是标记节点，在判断中走到矩形就可以认为预测过程结束，将矩形中的标签作为预测结果返回。那么在训练过程中构建这棵决策树的时候需要怎么做呢？就是一个一个特征属性依次比较过去然后建立分支吗？不是的，我们需要挑选最有代表性的特征。比如说苹果的……

K近邻K近邻 - 有监督 - 一种多类划分的模型（K近邻不像感知机只能划分两种类，K近邻是一种多类划分的模型）K近邻算法缺点：1、在预测样本类别时，待预测样本需要与训练集中所有样本计算距离，当训练集数量过高时（例如Mnsit训练集有60000个样本），每预测一个样本都要计算60000个距离，计算代价过高，尤其当测试集数目也较大时（Mnist测试集有10000个）。2、K近邻在高维情况下时（高维在机器学习中并不少见），待预测样本需要与依次与所有样本求距离。向量维度过高时使得欧式距离的计算变得不太迅速了。本文在60000训练集的情况下，将10000个测试集缩减为200个，整个过程仍然需要308……

朴素贝叶斯的直观理解在网上曾经有一个有意思的概率讨论，题目是这样的（我相信所有人都会愿意看一看这种有趣的问题）：有三张彩票，一张有奖。你买了一张，老板在自己剩余的两张中刮开了一张，没中。这时候他要用剩下的一张和你换，你换不换？换和不换你中奖的概率一样吗？（你可以思考一下，然后看我下面的回答）—————————————————————————-从直觉上来讲，彩票中奖的概率是1/3，你最先抽了一张，不管咋操作，中奖的概率应该都是1/3。这时候老板排除掉了一张没中奖的，剩下两张必有一张中奖，所以概率是1/2。换和不换应该都一样。你是这么答的吗？这时候需要引申出贝叶斯了，贝叶斯在概率的计算中引入了……