题目
大语言模型存在多种架构类型,不同架构适用于不同任务场景。下列关于大语言模型架构与对应适用场景、代表模型的匹配,正确的是()A. 编码器-解码器架构 —— 适合长文生成任务 —— GPT-3模型B. 因果解码器架构 —— 适合序列转换任务(如中英翻译)—— T5模型C. 前缀解码器架构 —— 支持双向注意力与单向注意力结合 —— U-PaLM 模型D. 编码器架构 —— 仅用于文本分类任务 —— GLM-130B模型
大语言模型存在多种架构类型,不同架构适用于不同任务场景。下列关于大语言模型架构与对应适用场景、代表模型的匹配,正确的是()
A. 编码器-解码器架构 —— 适合长文生成任务 —— GPT-3模型
B. 因果解码器架构 —— 适合序列转换任务(如中英翻译)—— T5模型
C. 前缀解码器架构 —— 支持双向注意力与单向注意力结合 —— U-PaLM 模型
D. 编码器架构 —— 仅用于文本分类任务 —— GLM-130B模型
题目解答
答案
B. 因果解码器架构 —— 适合序列转换任务(如中英翻译)—— T5模型
解析
本题考查大语言模型架构、适用场景及代表模型的匹配知识。解题思路是对每个选项所涉及的架构、适用场景和代表模型进行逐一分析,判断其匹配是否正确。
- A选项:
- 编码器 - 解码器架构(Encoder - Decoder),典型代表是T5模型,它在很多序列到序列的任务中表现出色。
- 而GPT - 3模型采用的是因果解码器架构(Causal Decoder),并非编码器 - 解码器架构。所以A选项匹配错误。
- B选项:
- 因果解码器架构(Causal Decoder),也称为自回归架构,它按照顺序生成文本,每次生成一个词,并且只能依赖前面已经生成的词。
- 序列转换任务(如中英翻译)需要根据输入序列生成输出序列,因果解码器架构适合这种任务,T5模型就是基于编码器 - 解码器架构,可用于序列转换任务,这里说因果解码器架构适合序列转换任务,T5模型是序列转换任务的典型代表,该选项匹配正确。
- C选项:
- 前缀解码器架构(Prefix Decoder)主要是为了在生成过程中引入额外的信息,如上下文提示等。
- U - PaLM模型采用的是前缀解码器架构,但它主要是为了提升大语言模型在复杂任务中的性能,并非是因为支持双向注意力与单向注意力结合。所以C选项匹配错误。
- D选项:
- 编码器架构(Encoder)可以用于多种任务,如文本分类、信息检索等,并非仅用于文本分类任务。
- GLM - 130B模型采用的是通用语言模型架构(General Language Model),不是编码器架构。所以D选项匹配错误。