题目
为什么最好的mini-batch的大小通常不是1也不是训练集总样本数m,而是介于两者之间 ?A.A 如果mini-batch的大小是1,那么你需要遍历整个训练集后才能更新一次参数B.B 如果mini-batch的大小是m,就是批量梯度下降。你需要遍历整个训练集来更新参数C.C 如果mini-batch的大小是1,那么你将失去mini-batch将数据矢量化带来的的好处D.D 如果mini-batch的大小是m,就是随机梯度下降,而这样做经常会比mini-batch慢
为什么最好的mini-batch的大小通常不是1也不是训练集总样本数m,而是介于两者之间 ?
- A.A 如果mini-batch的大小是1,那么你需要遍历整个训练集后才能更新一次参数
- B.B 如果mini-batch的大小是m,就是批量梯度下降。你需要遍历整个训练集来更新参数
- C.C 如果mini-batch的大小是1,那么你将失去mini-batch将数据矢量化带来的的好处
- D.D 如果mini-batch的大小是m,就是随机梯度下降,而这样做经常会比mini-batch慢
题目解答
答案
B,C
解析
在机器学习中,mini-batch的大小选择是一个重要的参数。如果mini-batch的大小是1,那么每次只用一个样本更新参数,这会导致更新过程非常不稳定,且无法利用向量化带来的计算效率提升。如果mini-batch的大小是整个训练集的大小m,那么每次更新参数都需要遍历整个训练集,这将导致计算效率低下,且在大数据集上可能不可行。因此,选择一个介于1和m之间的mini-batch大小,可以平衡计算效率和参数更新的稳定性。