题目

某公司打算选择模型用于部署应用,以下哪些模型是基于Transformer架构的?A. ResNetB. T5C. GPT-2D. BERT

某公司打算选择模型用于部署应用,以下哪些模型是基于Transformer架构的?

A. ResNet

B. T5

C. GPT-2

D. BERT

题目解答

答案

BCD
B. T5
C. GPT-2
D. BERT

解析

考查要点：本题主要考查学生对主流深度学习模型架构的了解，特别是Transformer架构的应用领域及典型模型。

解题核心思路：

  1. 明确Transformer架构的特点：由Vaswani等人提出，主要用于自然语言处理任务，核心组件包括多头自注意力机制和位置编码，典型结构包含编码器（Encoder）和解码器（Decoder）。
  2. 区分不同模型的背景：
    • ResNet属于卷积神经网络（CNN），用于计算机视觉；
    • T5、GPT-2、BERT均基于Transformer，但侧重新任务不同（如文本生成、理解等）。

破题关键点：

  • 直接记忆典型模型的架构：若熟悉常见模型的提出者、应用场景，可快速判断选项。

选项分析

A. ResNet

  • 模型类型：残差网络（Residual Network）
  • 特点：通过残差块解决深层网络的梯度消失问题，广泛用于图像分类等任务。
  • 结论：不属于Transformer架构。

B. T5

  • 模型类型：文本生成与理解模型（Text-to-Text Transfer Transformer）
  • 特点：由Google开发，基于纯Transformer结构，统一处理多种文本任务（如翻译、问答）。
  • 结论：属于Transformer架构。

C. GPT-2

  • 模型类型：生成预训练变压器（Generative Pre-trained Transformer）
  • 特点：由OpenAI开发，采用Transformer解码器结构，擅长文本生成。
  • 结论：属于Transformer架构。

D. BERT

  • 模型类型：双向编码器表示（Bidirectional Encoder Representations from Transformers）
  • 特点：由Google开发，基于Transformer编码器结构，用于文本理解任务（如问答、情感分析）。
  • 结论：属于Transformer架构。