因果关系中的一些归纳偏差是 P(t)P(a/t) != P(t/a)P(a)，为何在深度学习中加入因果关系非常重要？
- 因果关系和贝叶斯深度学习在 OOTD 数据中的稳健性如何？
- 如何将因果关系与深度学习结合起来，dNN 是否将仅用于近似后验，还是将将其集成到深度学习架构中？
讨论1：
因果关系很重要，因为它旨在寻找数据中的因果关系，而不是单纯依赖于相关性，而是寻找不变的表示，这意味着即使引入了洪水数据，因果关系仍然成立，或者如果强大到足以改变数据的结构，那么因果关系就会保持，让人感到困惑的是，你实际上可以使用 gnn 作为因果机制。
虽然贝叶斯深度学习使用概率推理来确定模型对其预测的可信度，但它可以作为洪水数据的标志。
在实践中，这两种方法都是结合使用的，将两者联系在一起 ：
因果不变量可确保预测基于真正的因果因素而非相关性，从而帮助贝叶斯模型在领域转变下保持稳健。
- 单独的贝叶斯方法可能会标记出 OOD 数据中的高度不确定性，但它本身无法提高稳健性。
- 添加因果关系可确保模型仍能依靠稳定的因果机制做出可靠的预测。
- 另一个需要注意的是，因果不变量通过提供强先验来改善贝叶斯推理。
此外，是否将因果关系直接集成到模型架构中的问题取决于您正在解决的答案，因为直接集成它在计算上非常昂贵，因为您正在捕获更关键和动态的数据。例如，自动驾驶汽车，这是有道理的，因为变化是关键的，而因果模型是未知的。
然而，具有更稳定的因果关系且不会改变的模型，人们可以只使用 NN 来近似后验近似，只需计算一次，然后您就可以从这个分布中扩展推断。
从静态数据集中学习推断出因果关系与证明因果关系是有区别的。有时后者是不可能的，所以人们会用前者来凑合。
例如：这是一个从静态数据集中学习因果关系案例，必须做实验，光靠观察是不够的：
例如，想象一台有两个按钮的机器。一个按钮启动机器，另一个按钮不执行任何操作。在您的数据集中，操作员总是同时按下两个按钮 - 为了确定哪个按钮实际上是致病的，您必须做一个只按一个按钮的实验。
因果不变量不一定“确定”因果关系，而是突出数据中在不同条件下保持稳定的特征或机制。在这种情况下，不变运算符是强化数据中因果关系的学习目标或约束。
讨论2：
贝叶斯深度学习关注的是“学习”给定神经网络架构的最佳参数，并使用数据集和先验推断参数空间的后验。归纳起来，这只是深度学习的另一种学习方式。
另一方面，因果关系关注的是……因果关系。有时人们假设我们知道网络的结构，有时我们需要识别或学习贝叶斯网络的结构。但该网络试图表示系统中已知变量之间的因果关系。
与神经网络相比，贝叶斯网络更具因果关系，但仍有可能错过一些变量之间的因果关系。这可以通过人工干预或领域专业知识来设计结构来解决。
贝叶斯网络本身不一定是因果模型：两者都不是因果模型，因此“更多”具有误导性。但是，一旦您经历并测试了条件蕴涵，一组贝叶斯网络（马尔可夫等效）就是因果模型。