题目
LSTM通过什么机制解决长距离依赖问题?A. 增加网络宽度B. 门控机制选择性记忆/遗忘C. 使用更大的学习率D. 减少网络深度
LSTM通过什么机制解决长距离依赖问题? A. 增加网络宽度 B. 门控机制选择性记忆/遗忘 C. 使用更大的学习率 D. 减少网络深度
题目解答
答案
B
解析
考查要点:本题主要考查对LSTM(长短期记忆网络)核心机制的理解,特别是其解决长距离依赖问题的关键方法。
解题核心思路:
长距离依赖问题是指模型难以捕捉序列中相隔较远位置的信息关联。LSTM通过门控机制( gating mechanism)有效解决了这一问题。门控机制允许模型选择性地保留长期记忆并遗忘不重要的信息,从而在长序列中保持信息的连续性。
破题关键点:
- 明确LSTM的核心创新在于门控单元(输入门、遗忘门、输出门)的设计,而非网络结构的其他参数(如宽度、深度)或训练参数(如学习率)。
选项分析
A. 增加网络宽度
网络宽度指单层神经元数量。增加宽度可能提升模型表达能力,但无法直接解决长距离依赖问题,与LSTM的核心机制无关。
B. 门控机制选择性记忆/遗忘
正确选项。LSTM通过门控机制动态控制信息的存储和丢弃:
- 遗忘门决定保留哪些长期记忆;
- 输入门选择当前输入中哪些信息需要存储;
- 输出门控制记忆如何影响当前输出。
这种机制确保关键信息能跨越长序列传递,从而解决长距离依赖。
C. 使用更大的学习率
学习率影响训练速度和收敛性,但与模型结构无关,无法直接解决长距离依赖。
D. 减少网络深度
减少层数可能简化模型,但会降低模型复杂度,与长距离依赖问题无直接关系。