梯度下降算法是最常用也是最有效的神经网络的优化办法，完全可以满足不同类型的需求。