贝叶斯统计推断和频率统计推断之间一直存在争论。频率论者在 20 世纪主导了统计实践。许多常见的机器学习算法（如线性回归和逻辑回归）使用频率论方法来执行统计推断。虽然贝叶斯在 20 世纪之前主导了统计实践，但近年来贝叶斯学派中的许多算法，如期望最大化、贝叶斯神经网络和马尔可夫链蒙特卡罗算法，在机器学习中越来越受欢迎。
简单案例
引用stackexchange中最受欢迎的比喻：
以下是我向祖母解释基本区别的方式：
我把手机放错了家里的某个地方。我可以使用仪器底座上的电话定位器来定位电话，当我按下电话定位器时，电话开始发出哔哔声。
问题：我应该搜索我家的哪个区域？
- 1. 频率推理
我能听到电话的哔哔声。我还有一个心智模型（以前手机频繁地出现什么区域），这可以帮助我识别声音来自的区域。因此，听到哔哔声后，我会推断出我必须搜索我家的区域。（把某事件发生的频率作为该事件发生的概率。）
- 2. 贝叶斯推理
我能听到电话的哔哔声。现在，除了帮助我识别声音来源区域的心智模型之外，我还知道我过去将手机放错了位置。因此，我将使用蜂鸣声的推论和我过去将手机放错位置的先前信息结合起来，以确定我必须搜索的区域才能找到手机。（有一个先验假设，随着样本的增加如手机放错位置，不断的修正先验的概率分布。）
对概率的定义不同
无论频率论者还是贝叶斯论者，都是基于"假设"的判断，例如，假设无论你您多少次掷硬币，则正面朝上 50%，基于这些大量观察的场景（=假设）。
- 在频率论推断中，概率被解释为长期运行频率。目标是创建具有长期运行频率保证的过程。
- 在贝叶斯推理中，概率被解释为主观信念度。目标是陈述和分析你的信念。
问题复杂在于两种主义对概率的定义是不同的，如果我说“这枚硬币正面朝上的概率为 1/2”，这是什么意思？
- 频率论者的解释是，如果我们进行了多次抛硬币，那么正面的计数（“频率”）除以抛硬币的总数应该或多或少地越来越接近 1/2。这没有任何主观性可以被视为一件好事，但是我们无法真正执行无限次抛硬币，甚至在某些情况下我们根本无法重复实验。
- 贝叶斯观点是主观的，将概率视为某种“信念程度”或“赌博几率”。例如，两个人可能对他们对硬币的看法（先验概率）有不同的信念，从而进入抛硬币实验。在收集了数据/证据的实验之后，人们根据贝叶斯定理更新了他们的信念，他们对硬币的后验概率是什么发布了不同的想法，并且两个人都可以证明他们的信念是“合乎逻辑的”/ “理性”/“连贯”（取决于贝叶斯解释的确切风格）。
哪个更客观？
两者都不！它们都基于假设，因此它们基本上是主观的，见这篇基于假设的文章，两者都与样本量无关，频率适合大量数据？，少量数据适合贝叶斯？不！更少的数据意味着需要预设更多的假设前提，假设太多，结论越含有水分。
两者关键的区别在于，它俩都取决于上下文：上下文是需要在行动之间做出选择？还是需要形成基于证据的意见？