神经网络之所以强大的两个原因 - tunguz

22-06-25 banq

让神经网络如此强大的两个最重要的特性是:
  1. 可微分性Differentiability
  2. 组合性Compositionality


可微分性使得使用梯度下降进行优化成为可能,梯度下降比大多数其他数字优化方法快几个数量级。
另一方面,组合性意味着我们可以利用链式规则进行微分,并将潜在的难以处理的函数分解为可管理的小单元,我们可以一次处理一个。

然而,在大多数情况下,神经网络架构本身需要被*设计*。优化这种设计是完全不可行的,事实上,这也是大多数神经网络研究的重点所在。
另一方面,梯度提升算法将提升集合法与梯度下降法结合起来,并使用差分方法构建整个ML算法 "架构",对超参数的调整非常少。

IMHO,从纯概念的角度来看,这种方法非常吸引人。不过由于其概念上的简单性,我们在基本算法上似乎没有什么可以改进的地方。

但我相信,对于梯度提升方法所能做到的,我们还只是触及到了表面。我相信,仅仅几个简单的改进就可以使梯度提升法比目前更加强大。

 

猜你喜欢