题目
Transformer声学模型的核心改进是( )。A. 循环结构处理时序B. 放弃位置编码C. 减少参数数量D. 自注意力机制捕获长距离依赖
Transformer声学模型的核心改进是( )。
A. 循环结构处理时序
B. 放弃位置编码
C. 减少参数数量
D. 自注意力机制捕获长距离依赖
题目解答
答案
D. 自注意力机制捕获长距离依赖
解析
考查要点:本题主要考查对Transformer模型核心改进点的理解,特别是其在声学模型中的应用。
解题核心思路:
Transformer模型的核心创新在于自注意力机制,它取代了传统的循环结构,能够高效捕捉长距离依赖关系。需明确区分选项中其他概念(如位置编码、循环结构)与核心改进点的关系。
破题关键点:
- 自注意力机制是Transformer的核心,直接解决循环结构的局限性。
- 位置编码是辅助机制,用于弥补自注意力对顺序的天然不敏感,而非核心改进。
- 长距离依赖的高效处理是Transformer在时序任务中的关键优势。
选项分析
A. 循环结构处理时序
错误。循环结构(如RNN)是Transformer之前的主流方法,而Transformer通过自注意力机制取代了循环结构,这是其核心改进。
B. 放弃位置编码
错误。Transformer引入了位置编码,用于为模型提供序列中元素的相对或绝对位置信息,弥补自注意力对顺序的天然不敏感。
C. 减少参数数量
错误。Transformer的参数量通常较大(如多层自注意力和前馈网络),其优势在于计算效率和并行性,而非减少参数。
D. 自注意力机制捕获长距离依赖
正确。自注意力机制通过计算序列中任意位置的关联性,能够高效捕捉长距离依赖,这是Transformer取代循环结构的核心原因。