6. Stochastic Gradient Descent当期望或完整梯度难以直接计算时，可以用随机样本构造一个带噪声的估计，再通过小步迭代逐渐接近目标。Robbins–Monro 随机逼近描述了这种方法能够收敛所需的基本条件，SGD 则是它在优化中的典型应用。