作者：阿萨姆
普华永道
数据科学家
量子位已授权编辑发布
0.前言
我更喜欢把”思想”认为是一种“道”，而”模型”是一种”术”，也可类比为“外功”和“内功”。
本文有标题*之嫌，因为讨论的内容并非严格的哲学命题。但机器学习中有很多思想换个角度看和其他学科息息相关，甚至共通。在此总结了一些我觉得有意思的观察，供大家讨论。
△图为拉斐尔为梵蒂冈宫教皇绘制的哲学主题壁画《雅典学派》
1.没有免费的午餐定理(NoFreeLunchTheorem)
-什么算法最好？
NFL定理由Wolpert在年提出，其应用领域原本为经济学。和那句家喻户晓的”天下没有免费的午餐”有所不同，NFL讲的是优化模型的评估问题。
而我们耳熟能详的“天下没有免费的午餐”最早是说，十九世纪初很多欧美酒吧和旅店为了提升销售额向顾客提供免费的三明治，而客人贪图免费的三明治却意外的买了很多杯酒，酒吧从而获利更多了，以此来教育大家不要贪小便宜吃大亏。
在机器学习领域，NFL的意义在于告诉机器学习从业者:”假设所有数据的分布可能性相等，当我们用任一分类做法来预测未观测到的新数据时，对于误分的预期是相同的。”
简而言之，NFL的定律指明，如果我们对要解决的问题一无所知且并假设其分布完全随机且平等，那么任何算法的预期性能都是相似的。
这个定理对于“盲目的算法崇拜”有毁灭性的打击。例如，现在很多人沉迷“深度学习”不可自拔，那是不是深度学习就比其他任何算法都要好？在任何时候表现都更好呢？
未必，我们必须要加深对于问题的理解，不能盲目的说某一个算法可以包打天下。然而，从另一个角度说，我们对于要解决的问题往往不是一无所知，因此大部分情况下我们的确知道什么算法可以得到较好的结果。
举例，我们如果知道用于预测的特征之间有强烈的相关性(strongdependency)，那么我们可以推测NaiveBayes（简单贝叶斯分类器）不会给出特别好的结果，因为其假设就是特征之间的独立性。
在某个领域、特定假设下表现卓越的算法不一定在另一个领域也能是“最强者”。正因如此，我们才需要研究和发明更多的机器学习算法来处理不同的假设和数据。GeorgeBox早在上世纪八十年代就说过一句很经典的话:”Allmodelsarewrong,butsomeareuseful(所有的模型的都是错的，但其中一部分还是蛮有用的).”这种观点也是NFL的另一种表述。
周志华老师在《机器学习》一书中也简明扼要的总结：“NFL定理最重要的寓意，是让我们清楚的认识到，脱离具体问题，空泛的谈‘什么学习算法更好’毫无意义。”
2.奥卡姆剃刀定理(Occam’sRazor-Ockham定理）
-少即是多
奥卡姆剃刀是由十二世纪的英国教士及哲学家奥卡姆提出的:“如无必要，勿增实体”。
用通俗的语言来说，如果两个模型A和B对数据的解释能力完全相同，那么选择较为简单的那个模型。在统计学和数学领域，我们偏好优先选择最简单的那个假设，如果与其他假设相比其对于观察的描述度一致
奥卡姆剃刀定理对于机器学习的意义在于它给出了一种模型选择的方法，对待过拟合(over-fitting)问题有指导意义。就像我以前的文章提到的，如果简单的线性回归和复杂的深度学习在某个问题上的表现相似(如相同的误分率)，那么我们应该选择较为简单的线性回归。
Murphy在MLAPP中用Tenenbaum的强抽样假设(strongsamplingassumption)来类比奥卡姆剃刀原理。首先他给出了下面的公式，Pr(D
h)代表了我们重置抽样(samplingwithreplacement)N次后得到集合D时，某种假设h为真的概率。
举例，我们有0~99共个数字，每次从其中随机抽出一个数字并放回，重复抽取N次。若随机抽了并放回了5次，我们抽出了{2,4,8,16,32}，于是我们想要推断(induct)抽取到底遵循什么规则。我们有两种假设:
h1:我们是从{0,2,4,6,8,...,98}中抽取的，即从偶数中抽取
h2:我们是从{2n}中抽取的
根据上文给出的公式进行计算，我们发现Pr(D
h1)远大于Pr(D
h2)，即我们相信D={2,4,8,16,32}从h:{2n}中产生的可能更大，但是h2:{0,2,4,6,8,...,98}似乎也能解释我们的结果。这个时候我们就应选择概率更高的那个。
从奥卡姆剃刀角度思考的话，:{2n}在0~99中只有5个满足要求的元素，而h2:{0,2,4,6,8,...,98}却有50个满足要求的元素。那么更加简单，更加符合尝试，选择它:)
提供这个例子的原因是为了提供一个量化方法来评估假设，其与奥卡姆剃刀有相同的哲学内涵。有兴趣的读者应该会发现奥卡姆剃刀的思想与贝叶斯推断是一致的，更细致的讨论可以看一篇关于贝叶斯推断的介绍。
文章链接：