神经网络之所以强大的两个原因 - tunguz

22-06-25 banq

让神经网络如此强大的两个最重要的特性是：

可微分性Differentiability
组合性Compositionality

可微分性使得使用梯度下降进行优化成为可能，梯度下降比大多数其他数字优化方法快几个数量级。
另一方面，组合性意味着我们可以利用链式规则进行微分，并将潜在的难以处理的函数分解为可管理的小单元，我们可以一次处理一个。

然而，在大多数情况下，神经网络架构本身需要被*设计*。优化这种设计是完全不可行的，事实上，这也是大多数神经网络研究的重点所在。
另一方面，梯度提升算法将提升集合法与梯度下降法结合起来，并使用差分方法构建整个ML算法 "架构"，对超参数的调整非常少。

IMHO，从纯概念的角度来看，这种方法非常吸引人。不过由于其概念上的简单性，我们在基本算法上似乎没有什么可以改进的地方。

但我相信，对于梯度提升方法所能做到的，我们还只是触及到了表面。我相信，仅仅几个简单的改进就可以使梯度提升法比目前更加强大。

猜你喜欢